认识达内从这里开始

认真做教育专心促就业

scrapy架构详解（3）

发布：烟台达内
来源：烟台达内
时间：2019-01-29 14:27

烟台达内的小编总结，如果您想禁止内置的（在 SPIDER_MIDDLEWARES_BASE 中设置并默认启用的）中间件，您必须在项目的 SPIDER_MIDDLEWARES设置中定义该中间件，并将其值赋为 None . 例如，如果您想要关闭off-site中间件：
SPIDER_MIDDLEWARES = {
'myproject.middlewares.CustomSpiderMiddleware': 543,
'scrapy.contrib.spidermiddleware.offsite.OffsiteMiddleware': None,
}
最后，请注意，有些中间件需要通过特定的设置来启用。更多内容请查看相关中间件文档。
2,编写自己的spider中间件
编写spider中间件十分简单。每个中间件组件是一个定义了以下一个或多个方法的Python类：
class scrapy.contrib.spidermiddleware.SpiderMiddleware
process_spider_input（response, spider）
当response通过spider中间件时，该方法被调用，处理该response.
process_spider_input（）应该返回 None 或者抛出一个异常（exception）。
如果其返回 None ,Scrapy将会继续处理该response,调用所有其他的中间件直到spider处理该response.
如果其抛出一个异常（exception），Scrapy将不会调用任何其他中间件的 process_spider_input（）方法，并调用request的errback. errback的输出将会以另一个方向被重新输入到中间件链中，使用 process_spider_output（）方法来处理，当其抛出异常时则带调用process_spider_exception（） .
参数：
response （Response 对象） – 被处理的response
spider （Spider 对象） – 该response对应的spider
process_spider_output（response, result, spider）
当Spider处理response返回result时，该方法被调用。

process_spider_output（）必须返回包含 Request 或 Item 对象的可迭代对象（iterable）。

烟台达内

参数：
response （Response 对象） – 生成该输出的response
result （包含 Request 或 Item 对象的可迭代对象（iterable）） – spider返回的result
spider （Spider 对象） – 其结果被处理的spider
process_spider_exception（response, exception, spider）
当spider或（其他spider中间件的） process_spider_input（）抛出异常时，该方法被调用。
process_spider_exception（）必须要么返回 None , 要么返回一个包含 Response 或 Item 对象的可迭代对象（iterable）。
如果其返回 None ,Scrapy将继续处理该异常，调用中间件链中的其他中间件的 process_spider_exception（）方法，直到所有中间件都被调用，该异常到达引擎（异常将被记录并被忽略）。
如果其返回一个可迭代对象，则中间件链的 process_spider_output（）方法被调用，其他的 process_spider_exception（）将不会被调用。
参数：
response （Response 对象） – 异常被抛出时被处理的response
exception （Exception 对象） – 被跑出的异常
spider （Spider 对象） – 抛出该异常的spider
process_start_requests（start_requests, spider）
0.15 新版功能。
该方法以spider 启动的request为参数被调用，执行的过程类似于 process_spider_output（） ,只不过其没有相关联的response并且必须返回request（不是item）。
其接受一个可迭代的对象（start_requests 参数）且必须返回另一个包含 Request 对象的可迭代对象。
注解
当在您的spider中间件实现该方法时，您必须返回一个可迭代对象（类似于参数start_requests）且不要遍历所有的 start_requests. 该迭代器会很大（甚至是无限），进而导致内存溢出。 Scrapy引擎在其具有能力处理start request时将会拉起request, 因此start request迭代器会变得无限，而由其他参数来停止spider（例如时间限制或者item/page记数）。
参数：
start_requests （包含 Request 的可迭代对象） – start requests
spider （Spider 对象） – start requests所属的spider
以上就是烟台达内给大家做的内容详解，更多关于IT的学习，请继续关注烟台达内

< 上一篇：scrapy架构详解（2）

下一篇：python自学者的入门指南秘笈 >