前回に引き続きscrapy-redisを使ってのクローリングです。
★scrapy-redisを使って、redisを使ったクローリングを試してみる その１（基本的な設定）
https://colabmix.co.jp/tech-blog/scrapy-redis/
前回は単純に同一のサーバーで実施したので、次にredisサーバーを分けてみます。
構成としては以下となります。
ServerA : redisサーバ
ServerB : scrapy-redis
ServerAではredisを外部から利用できるように外部からredisに接続できるように設定します。
|
1 2 3 4 5 6 |
# vi /etc/redis.conf bind 0.0.0.0 # systemctl restart redis |
redisサーバの方は再起動してテストの開始です。
scrapy-redisから外部のredisサーバに接続
外部のサーバに接続するには、ServerBで「settings.py」に以下の設定を行います。
|
1 2 3 4 5 6 |
SCHEDULER = "scrapy_redis.scheduler.Scheduler" DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" REDIS_HOST = 'IPアドレス' REDIS_PORT = 6379 |
「REDIS_HOST」の設定と「REDIS_PORT」の設定を追加しただけになります。
こちらでServerBでscrapyを起動します。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 |
$ scrapy crawl devcolla 2019-03-26 11:39:39 [scrapy.utils.log] INFO: Scrapy 1.5.2 started (bot: sample_crawler) 2019-03-26 11:39:39 [scrapy.utils.log] INFO: Versions: lxml 4.2.1.0, libxml2 2.9.8, cssselect 1.0.3, parsel 1.4.0, w3lib 1.19.0, Twisted 16.2.0, Python 3.6.7 (default, Dec 5 2018, 15:02:05) - [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)], pyOpenSSL 19.0.0 (OpenSSL 1.1.0i 14 Aug 2018), cryptography 2.3.1, Platform Linux-3.10.0-957.10.1.el7.x86_64-x86_64-with-centos-7.6.1810-Core 2019-03-26 11:39:39 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'sample_crawler', 'DUPEFILTER_CLASS': 'scrapy_redis.dupefilter.RFPDupeFilter', 'NEWSPIDER_MODULE': 'sample_crawler.spiders', 'ROBOTSTXT_OBEY': True, 'SCHEDULER': 'scrapy_redis.scheduler.Scheduler', 'SPIDER_MODULES': ['sample_crawler.spiders']} 2019-03-26 11:39:39 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.memusage.MemoryUsage', 'scrapy.extensions.logstats.LogStats'] 2019-03-26 11:39:39 [devcolla] INFO: Reading start URLs from redis key 'devcolla:start_urls' (batch size: 16, encoding: utf-8 2019-03-26 11:39:39 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2019-03-26 11:39:39 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2019-03-26 11:39:39 [scrapy.middleware] INFO: Enabled item pipelines: [] 2019-03-26 11:39:39 [scrapy.core.engine] INFO: Spider opened 2019-03-26 11:39:39 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) |
前回と同じで待機の状態になっています。
それではServerAで以下のコマンドを実施します。
|
1 2 3 |
$ redis-cli lpush devcolla:start_urls http://developer-collaboration.com/ |
すると、ServerBで以下のような出力が行われました。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 |
2019-03-26 11:31:26 [devcolla] DEBUG: Read 1 requests from 'devcolla:start_urls' 2019-03-26 11:31:29 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://developer-collaboration.com/> (referer: None) 2019-03-26 11:31:29 [scrapy.core.scraper] DEBUG: Scraped from <200 http://developer-collaboration.com/> {'title': 'Elasticsearchの形態素解析機Sudachiでユーザー辞書（dictionary）の活用', 'url': 'https://developer-collaboration.com/2019/01/30/elasticsearch-sudachi-user-dictionary/'} 2019-03-26 11:31:29 [scrapy.core.scraper] DEBUG: Scraped from <200 http://developer-collaboration.com/> {'title': 'Elasticsearchのkuromojiの検索で重要な辞書（dictionary）と類義語（synonym）の設定', 'url': 'https://developer-collaboration.com/2019/01/30/elasticsearch-kuro-dictionary-synonym/'} 2019-03-26 11:31:29 [scrapy.core.scraper] DEBUG: Scraped from <200 http://developer-collaboration.com/> {'title': 'CentOS7のPython3でMeCabのmecab-ipadic-neologdのインストールと利用', 'url': 'https://developer-collaboration.com/2019/01/30/centos7-python3-mecab-ipadic-neologd/'} 2019-03-26 11:31:29 [scrapy.core.scraper] DEBUG: Scraped from <200 http://developer-collaboration.com/> {'title': 'CentOS7のPython3でJUMAN++のインストールと利用', 'url': 'https://developer-collaboration.com/2019/01/29/centos7-python3-juman/'} 2019-03-26 11:31:29 [scrapy.core.scraper] DEBUG: Scraped from <200 http://developer-collaboration.com/> {'title': 'Elasticsearchでエイリアスの作成', 'url': 'https://developer-collaboration.com/2019/01/29/elasticsearch-aliases/'} 2019-03-26 11:31:29 [scrapy.core.scraper] DEBUG: Scraped from <200 http://developer-collaboration.com/> {'title': 'CentOS7系の最新版のredisをyumでインストール', 'url': 'https://developer-collaboration.com/2018/12/20/centos7-redis-install/'} 2019-03-26 11:31:29 [scrapy.core.scraper] DEBUG: Scraped from <200 http://developer-collaboration.com/> {'title': 'SumEvalというPythonのテキスト評価用のライブラリを試してみた', 'url': 'https://developer-collaboration.com/2018/12/20/sumeval-python/'} 2019-03-26 11:31:29 [scrapy.core.scraper] DEBUG: Scraped from <200 http://developer-collaboration.com/> {'title': 'pythonを使ってmongodbの操作', 'url': 'https://developer-collaboration.com/2018/12/18/python-mongodb1/'} 2019-03-26 11:31:29 [scrapy.core.scraper] DEBUG: Scraped from <200 http://developer-collaboration.com/> {'title': 'Scrapyでデータの保存をmongodbにして見る（Scrapy その４）', 'url': 'https://developer-collaboration.com/2018/12/16/scrapy-mongodb4/'} 2019-03-26 11:31:29 [scrapy.core.scraper] DEBUG: Scraped from <200 http://developer-collaboration.com/> {'title': 'CentOS7系でmongodb4.0のインストール', 'url': 'https://developer-collaboration.com/2018/12/15/centos7-mongodb4-0-install/'} |
2行設定を追加しただけですし、シンプルなのですが拡張性としては非常に高いことがわかりました。
今回はこの辺で。
★関連記事
・scrapy-redisを使って、redisを使ったクローリングを試してみる その１（基本的な設定）
・scrapy-redisを使って、redisを使ったクローリングを試してみる その３（パラメーターを利用してのクローリング：use parameter）
このブログは株式会社CoLabMixによる技術ブログです。
GCP、AWSなどでのインフラ構築・運用や、クローリング・分析・検索などを主体とした開発を行なっています。
Ruby on RailsやDjango、Pythonなどの開発依頼などお気軽にお声がけください。
開発パートナーを増やしたいという企業と積極的に繋がっていきたいです。
