scrapy-redisを使って、redisを使ったクローリングを試してみる その2(redisを別サーバーで起動) - 株式会社CoLabMix

scrapy-redisを使って、redisを使ったクローリングを試してみる その2(redisを別サーバーで起動)

前回に引き続きscrapy-redisを使ってのクローリングです。

★scrapy-redisを使って、redisを使ったクローリングを試してみる その1(基本的な設定)
https://colabmix.co.jp/tech-blog/scrapy-redis/

前回は単純に同一のサーバーで実施したので、次にredisサーバーを分けてみます。

構成としては以下となります。

ServerA : redisサーバ
ServerB : scrapy-redis

 

ServerAではredisを外部から利用できるように外部からredisに接続できるように設定します。

redisサーバの方は再起動してテストの開始です。

 

scrapy-redisから外部のredisサーバに接続

外部のサーバに接続するには、ServerBで「settings.py」に以下の設定を行います。

「REDIS_HOST」の設定と「REDIS_PORT」の設定を追加しただけになります。

 

こちらでServerBでscrapyを起動します。

前回と同じで待機の状態になっています。

 

それではServerAで以下のコマンドを実施します。

 

すると、ServerBで以下のような出力が行われました。

2行設定を追加しただけですし、シンプルなのですが拡張性としては非常に高いことがわかりました。

今回はこの辺で。

★関連記事
scrapy-redisを使って、redisを使ったクローリングを試してみる その1(基本的な設定)
scrapy-redisを使って、redisを使ったクローリングを試してみる その3(パラメーターを利用してのクローリング:use parameter)

 

このブログは株式会社CoLabMixによる技術ブログです。

GCP、AWSなどでのインフラ構築・運用や、クローリング・分析・検索などを主体とした開発を行なっています。

Ruby on RailsやDjango、Pythonなどの開発依頼などお気軽にお声がけください。

開発パートナーを増やしたいという企業と積極的に繋がっていきたいです。

お問い合わせやご依頼・ご相談など

    関連記事

    1. Ubuntu 18.04 に MariaDBのインストール

    2. Dockerの基本的な動作(Dockerfileを使わない)

    3. RedHatLinux8でのRDXメディアのフォーマット

    4. Elasticsearch 6 を使ったデータ検証 その7(Analy…

    5. VagrantでCentOS7の環境を作る

    6. AWS Lambda でS3にファイルがアップロードされたら、加工して…

    最近の記事

    制作実績一覧

    ITシステム開発の開発先・発注先の選び方を見つけるコンシェルジュサービス

    ITシステム開発の開発先・発注先の選び方を見つけるコンシェルジュサービス

    ITクリエイターのための転職・仕事情報サイト

    ITクリエイターのための転職・仕事情報サイト

    SNS分析での転職支援

    SNS分析での転職支援

    受託パートナーのマッチングとSES人材のマッチング

    受託パートナーのマッチングとSES人材のマッチング