Scrapy 架构流程图(官方文档) - 翻译整理

Scrapy 架构流程图(官方文档) - 翻译整理

架构概述

本文档描述了Scrapy的体系结构及其组件的交互方式。

概述

下图显示了Scrapy体系结构及其组件的概述以及系统内部发生的数据流的概述（由红色箭头显示）。下面包含组件的简要说明，并提供链接以获取有关它们的更多详细信息。数据流也在下面描述。

数据流

Scrapy中的数据流由执行引擎控制，如下所示：

该​​引擎​​​获得初始请求从抓取​​蜘蛛​​。该​​引擎​​​安排在请求​​调度程序​​和要求下一个请求抓取。该​​计划​​​返回下一请求的​​引擎​​。该​​引擎​​​发送请求到​​-器​​​，通过​​-器中间件​​​（见​​process_request()​​）。页面完成-后，​​Downloader会​​​生成一个Response（带有该页面）并将其发送到Engine，并通过​​Downloader Middlewares​​​（请参阅​​参考资料​​​​process_response()​​）。该​​引擎​​​接收来自响应​​-器​​​并将其发送到所述​​蜘蛛​​​进行处理，通过​​蜘蛛中间件​​​（见​​process_spider_input()​​）。该​​蜘蛛​​​处理响应并返回刮下的项目和新的要求（跟随）的​​引擎​​​，通过​​蜘蛛中间件​​​（见​​process_spider_output()​​）。该​​引擎​​​发送处理的项目，以​​项目管道​​​，然后把处理的请求的​​调度​​，并要求今后可能要求抓取。该过程重复（从步骤1开始），直到​​调度程序​​不再有请求为止 。

白话版:

1.引擎：Hi！Spider, 你要处理哪一个网站？2.Spider：老大要我处理xxxx.com。3.引擎：你把第一个需要处理的URL给我吧。4.Spider：给你，第一个URL是xxxxxxx.com。5.引擎：Hi！调度器，我这有request请求你帮我排序入队一下。6.调度器：好的，正在处理你等一下。7.引擎：Hi！调度器，把你处理好的request请求给我。8.调度器：给你，这是我处理好的request9.引擎：Hi！-器，你按照老大的-中间件的设置帮我-一下这个request请求10.-器：好的！给你，这是-好的东西。（如果失败：sorry，这个request-失败了。然后引擎告诉调度器，这个request-失败了，你记录一下，我们待会儿再-）11.引擎：Hi！Spider，这是-好的东西，并且已经按照老大的-中间件处理过了，你自己处理一下（注意！这儿responses默认是交给def parse()这个函数处理的）12.Spider：（处理完毕数据之后对于需要跟进的URL），Hi！引擎，我这里有两个结果，这个是我需要跟进的URL，还有这个是我获取到的Item数据。13.引擎：Hi ！管道 我这儿有个item你帮我处理一下！调度器！这是需要跟进URL你帮我处理下。然后从第四步开始循环，直到获取完老大需要全部信息。  14.管道“调度器：好的，现在就做！

组件

Scrapy引擎

引擎负责控制系统所有组件之间的数据流，并在发生某些操作时触发事件。有关详细信息，请参阅上面的 ​​数据流​​部分。

调度程序

调度程序接收来自引擎的请求，并在引擎请求它们时将它们排入队列以便稍后（也引导到引擎）。

-器

-器负责获取网页并将其提供给引擎，引擎又将它们提供给蜘蛛。

蜘蛛

蜘蛛是由Scrapy用户编写的自定义类，用于解析响应并从中提取项目或其他要遵循的请求。有关更多信息，请参阅​​蜘蛛​​。

管道

物品管道负责在物品被蜘蛛提取（搜罗）后处理物品。典型的任务包括清理，验证和持久性（如将项目存储在数据库中）。有关更多信息，请参阅​​项目管道​​。

管道的典型用途是：

清理HTML数据验证已删除的数据（检查项目是否包含某些字段）检查重复项（并删除它们）将已删除的项目存储在数据库中

-中间件

-器中间件是Scrapy的请求/响应处理的钩子框架。它是一个轻量级的低级系统，用于全局改变Scrapy的请求和响应。位于Engine和Downloader之间的钩子框架，当它们从Engine传递到Downloader时处理请求，以及从Downloader传递到Engine的响应。如果您需要执行以下操作之一，请使用Downloader中间件：

在将请求发送到-程序之前处理请求（即在Scrapy将请求发送到网站之前）;在将它传递给蜘蛛之前改变收到的响应;发送新的请求，而不是将收到的响应传递给蜘蛛;在没有抓取网页的情况下将响应传递给蜘蛛;默默地放弃一些请求。

有关更多信息，请参阅​​-器中间件​​。

蜘蛛中间件

蜘蛛中间件是一个钩入Scrapy蜘蛛处理机制的框架，您可以在其中插入自定义功能来处理发送给​​Spiders​​的响应，以便处理和处理从蜘蛛生成的请求和项目,位于Engine和Spider之间的特定钩子。

如果需要，请使用Spider中间件

蜘蛛回调的后期处理输出 - 更改/添加/删除请求或项目;后处理start_requests;处理蜘蛛异常;根据响应内容调用errback而不是回调某些请求。

有关更多信息，请参阅​​Spider Middleware​​。

事件驱动的网络

Scrapy是用​​Twisted​​​编写的，​​Twisted​​是一个流行的事件驱动的Python网络框架。因此，它使用非阻塞（也称为异步）代码实现并发。

但是，在日常工作和面试过程中，经常发现有些会笃定地认为 Scrapy 采用的是多线程并发模型。实际上，虽然 Twisted 框架提供了线程池支持，但是其核心网络部分处理逻辑依赖的是「单线程 IO 多路复用」技术，在 Linux 平台上，是围绕 ​​epoll()​​ 系统调用实现的 Reactor 模式。

有关异步编程和Twisted的更多信息，请参阅以下链接：

​​Twisted​​​​中的延迟介绍​​​​Twisted - 你好，异步编程​​​​Twisted​​​​的介绍 - Krondo​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。