scrapy运行定量爬虫(scrapy爬虫案例python)

网友投稿 950 2022-09-17

scrapy运行定量爬虫(scrapy爬虫案例python)

scrapy运行定量爬虫(scrapy爬虫案例python)

假设需求

现在大概有三千个scrapy的爬虫文件,10台机器,如何合理的分配爬虫?什么,这么简单的数学题还要问,一台机器分300个爬虫不就行了。确实,这样分配最简单也最直接,但会带来一些问题。就比如,有些站点网页少而有些网站很大,每个爬虫运行的时间是不一样的,最后可能导致一台累死,九台围观。而且一台机器同时运行300个爬虫,在硬件资源上的消耗会很大,也可能会导致很多爬虫无法正常运行,所以即使是这样分配爬虫我们也要限制同时运行的爬虫数量。当某个爬虫运行完了,才执行下一个。

解决方法

可以先创建出一个队列,队列里存放待抓取的爬虫(通常会创建三个,分别是pending(待抓取)、running(正抓取)、finished(已抓取))。然后每台机器开始都取指定数量的爬虫运行,当其中一个运行完,在去任务队列里取,直到队列空了。

实现

这种数量不多的队列使用Redis的集合就行,我们创建pending、running、finished三个集合,然后将所有的爬虫的name字段存放在pending集合中(当然爬虫文件名也可以,只是启动爬虫的方式稍微不一样),接着我们就可以写个脚本来运行爬虫了。

方式有两种:

一、crawl命令

伪代码:

pending.add(所有爬虫)

while True:

if len(running) < 指定数量:

spider = pending.pop()

多进程执行:f'scrapy crawl {spider}'

else:

time.sleep(指定时间)

然后只要编写一个extension来同步爬虫状态到Redis里

class SpiderCountLimit:

def __init__(self, count):

self.spider_count = count

self.r = redis.Redis(decode_responses=True)

@classmethod

def from_crawler(cls, crawler):

count = crawler.settings.get('SPIDER_COUNT', 20)

ext = cls(count)

crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed)

crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened)

return ext

def spider_closed(self, spider, reason):

self.r.srem('running', spider.name) # 爬虫关闭时,删除running中的爬虫

self.r.sadd('finished', spider.name) # 加入到已完成队列

def spider_opened(self, spider):

self.r.sadd('running', spider.name) # 添加爬虫到running中

这种方法就不多说了,因为我没尝试,直接看第二种

二、Crawler API

伪代码:(不懂怎么用的Crawler API可以看scrapy自定义命令)

for i in range(指定数量):

crawler_process.crawl(pending.pop())

crawler_process.start()

while True:

if len(running) < 指定数量:

多进程执行:

crawler_process.crawl(pending.pop())

crawler_process.start()

else:

time.sleep(指定时间)

因为crawler_process.start()这个语句是阻塞的,所以需要多进程来执行。也可以去掉多进程,把extension的内容改成这样:

class SpiderCountLimit:

def __init__(self, count):

self.spider_count = count

self.r = redis.Redis(decode_responses=True)

@classmethod

def from_crawler(cls, crawler):

count = crawler.settings.get('SPIDER_COUNT', 20)

ext = cls(count)

crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed)

crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened)

return ext

def spider_closed(self, spider, reason):

self.r.srem('running', spider.name)

self.r.sadd('finished', spider.name)

spider = self.r.spop('pending')

process = CrawlerProcess()

process.crawl(spider)

process.start()

def spider_opened(self, spider):

self.r.sadd('running', spider.name)

不过我感觉这个方法不如多进程添加,因为上面提到process.start() 是阻塞的,也就是说spider_closed这个方法一直没有结束,这可能会带来一些无法预见的问题。

至于其他一些细节上的优化就自己思考了,比如改用进程池来管理进程等。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:五分钟带你玩转Elasticsearch(十)企业实战——使用logstash监控多服务器并获取日志
下一篇:PowerShell New-Item 新建文件和文件夹#yyds干货盘点#
相关文章

 发表评论

暂时没有评论,来抢沙发吧~