scrapy-redisを使って、redisを使ったクローリングを試してみる その2(redisを別サーバーで起動)

前回に引き続きscrapy-redisを使ってのクローリングです。

★scrapy-redisを使って、redisを使ったクローリングを試してみる その1(基本的な設定)
https://colabmix.co.jp/tech-blog/scrapy-redis/

前回は単純に同一のサーバーで実施したので、次にredisサーバーを分けてみます。

構成としては以下となります。

ServerA : redisサーバ
ServerB : scrapy-redis

 

ServerAではredisを外部から利用できるように外部からredisに接続できるように設定します。

redisサーバの方は再起動してテストの開始です。

 

scrapy-redisから外部のredisサーバに接続

外部のサーバに接続するには、ServerBで「settings.py」に以下の設定を行います。

「REDIS_HOST」の設定と「REDIS_PORT」の設定を追加しただけになります。

 

こちらでServerBでscrapyを起動します。

前回と同じで待機の状態になっています。

 

それではServerAで以下のコマンドを実施します。

 

すると、ServerBで以下のような出力が行われました。

2行設定を追加しただけですし、シンプルなのですが拡張性としては非常に高いことがわかりました。

今回はこの辺で。

★関連記事
scrapy-redisを使って、redisを使ったクローリングを試してみる その1(基本的な設定)
scrapy-redisを使って、redisを使ったクローリングを試してみる その3(パラメーターを利用してのクローリング:use parameter)

 

このブログは株式会社CoLabMixによる技術ブログです。

GCP、AWSなどでのインフラ構築・運用や、クローリング・分析・検索などを主体とした開発を行なっています。

Ruby on RailsやDjango、Pythonなどの開発依頼などお気軽にお声がけください。

開発パートナーを増やしたいという企業と積極的に繋がっていきたいです。

お問い合わせやご依頼・ご相談など

関連記事

  1. AWSのLambdaでScrapyを動かす その2 - S3からの値の…

  2. ZABBIXのアラートをSlackに飛ばす

  3. ElasticSearchでjava.lang.OutOfMemory…

  4. CentOS7でscrapy-splashを使ってJavaScript…

  5. AWS CLIのインストールについて(Ubuntu 16.04.4)

  6. Railsアプリの CentOS7 + nginx 環境を 無料 の …