课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认识达内从这里开始
认真做教育 专心促就业
烟台达内的小编总结， 3,调度器返回下一个要爬取的请求（Requests）给引擎。
4,引擎将上步中得到的请求（Requests）通过下载器中间件（Downloader Middlewares）发送给下载器（Downloader ），这个过程中下载器中间件（Downloader Middlewares）中的process_request（）函数会被调用到。
5,一旦页面下载完毕，下载器生成一个该页面的Response,并将其通过下载中间件（Downloader Middlewares）发送给引擎，这个过程中下载器中间件（Downloader Middlewares）中的process_response（）函数会被调用到。
6,引擎从下载器中得到上步中的Response并通过Spider中间件（Spider Middlewares）发送给Spider处理，这个过程中Spider中间件（Spider Middlewares）中的process_spider_input（）函数会被调用到。
7,Spider处理Response并通过Spider中间件（Spider Middlewares）返回爬取到的Item及（跟进的）新的Request给引擎，这个过程中Spider中间件（Spider Middlewares）的process_spider_output（）函数会被调用到。
8,引擎将上步中Spider处理的其爬取到的Item给Item 管道（Pipeline），将Spider处理的Request发送给调度器，并向调度器请求可能存在的下一个要爬取的请求（Requests）。
Spider中间件是介入到Scrapy中的spider处理机制的钩子框架，可以插入自定义功能来处理发送给 Spiders 的response,以及spider产生的item和request.
1,激活Spider中间件（Spider Middlewares）
要启用Spider中间件（Spider Middlewares），可以将其加入到 SPIDER_MIDDLEWARES 设置中。 该设置是一个字典，键为中间件的路径，值为中间件的顺序（order）。
样例：
SPIDER_MIDDLEWARES = {
'myproject.middlewares.CustomSpiderMiddleware': 543,
}
SPIDER_MIDDLEWARES 设置会与Scrapy定义的 SPIDER_MIDDLEWARES_BASE 设置合并（但不是覆盖）， 而后根据顺序（order）进行排序，最后得到启用中间件的有序列表： 第一个中间件是最靠近引擎的，最后一个中间件是最靠近spider的。
关于如何分配中间件的顺序请查看 SPIDER_MIDDLEWARES_BASE 设置，而后根据您想要放置中间件的位置选择一个值。 由于每个中间件执行不同的动作，您的中间件可能会依赖于之前（或者之后）执行的中间件，因此顺序是很重要的。
以上就是烟台达内给大家做的内容详解，更多关于IT的学习，请继续关注烟台达内
4,引擎将上步中得到的请求（Requests）通过下载器中间件（Downloader Middlewares）发送给下载器（Downloader ），这个过程中下载器中间件（Downloader Middlewares）中的process_request（）函数会被调用到。
5,一旦页面下载完毕，下载器生成一个该页面的Response,并将其通过下载中间件（Downloader Middlewares）发送给引擎，这个过程中下载器中间件（Downloader Middlewares）中的process_response（）函数会被调用到。
6,引擎从下载器中得到上步中的Response并通过Spider中间件（Spider Middlewares）发送给Spider处理，这个过程中Spider中间件（Spider Middlewares）中的process_spider_input（）函数会被调用到。
7,Spider处理Response并通过Spider中间件（Spider Middlewares）返回爬取到的Item及（跟进的）新的Request给引擎，这个过程中Spider中间件（Spider Middlewares）的process_spider_output（）函数会被调用到。
8,引擎将上步中Spider处理的其爬取到的Item给Item 管道（Pipeline），将Spider处理的Request发送给调度器，并向调度器请求可能存在的下一个要爬取的请求（Requests）。
9,（从第二步）重复直到调度器中没有更多的请求（Requests）。
Spider中间件是介入到Scrapy中的spider处理机制的钩子框架，可以插入自定义功能来处理发送给 Spiders 的response,以及spider产生的item和request.
1,激活Spider中间件（Spider Middlewares）
要启用Spider中间件（Spider Middlewares），可以将其加入到 SPIDER_MIDDLEWARES 设置中。 该设置是一个字典，键为中间件的路径，值为中间件的顺序（order）。
样例：
SPIDER_MIDDLEWARES = {
'myproject.middlewares.CustomSpiderMiddleware': 543,
}
SPIDER_MIDDLEWARES 设置会与Scrapy定义的 SPIDER_MIDDLEWARES_BASE 设置合并（但不是覆盖）， 而后根据顺序（order）进行排序，最后得到启用中间件的有序列表： 第一个中间件是最靠近引擎的，最后一个中间件是最靠近spider的。
关于如何分配中间件的顺序请查看 SPIDER_MIDDLEWARES_BASE 设置，而后根据您想要放置中间件的位置选择一个值。 由于每个中间件执行不同的动作，您的中间件可能会依赖于之前（或者之后）执行的中间件，因此顺序是很重要的。
以上就是烟台达内给大家做的内容详解，更多关于IT的学习，请继续关注烟台达内
< 上一篇：scrapy架构详解（1）
下一篇：scrapy架构详解（3） >
2025-02-07
免费试听课程
- 全部课程
- IT课程
- 设计课程
- 运营课程
4578
最新开班时间
- 北京
- 上海
- 广州
- 深圳
- 南京
- 成都
- 武汉
- 西安
- 青岛
- 天津
- 杭州
- 重庆
- 哈尔滨
- 济南
- 沈阳
- 合肥
- 郑州
- 长春
- 苏州
- 长沙
- 昆明
- 太原
- 无锡
- 石家庄
- 南宁
- 佛山
- 珠海
- 宁波
- 保定
- 呼和浩特
- 洛阳
- 烟台
- 运城
- 潍坊
- 开课名称
- 开班时间
- 抢座
- 咨询
- 开课名称
- 开班时间
- 抢座
- 咨询
-
- Java全链路开发
- 5月29日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 5月29日
- 火热抢座中
- 立即咨询
- 人工智能工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 5月29日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 5月29日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 5月29日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 5月29日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 5月29日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 5月29日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 5月29日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 5月29日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 5月29日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 5月29日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 5月29日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 5月29日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 5月29日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 5月29日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 5月29日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 5月29日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 5月29日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 5月29日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 5月29日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 5月29日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 5月29日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 5月29日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 5月29日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 5月29日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 5月29日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 5月29日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 5月29日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 5月29日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 5月29日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 5月29日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 5月29日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 5月29日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 5月29日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 5月29日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 5月29日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 5月29日
- 火热抢座中
- 立即咨询
预约申请试听课
400-111-8989
lihm@tedu.cn
