Scrapy 分布式爬虫框架

使用Scrapy和scrapy-redis进行大规模网络爬取，实现分布式任务队列。集成Splash进行JavaScript渲染，通过scrapy-mongodb管道将结果存储到MongoDB中，并遵守robots.txt规则和AutoThrottle功能。

模型生成摘要（rules/v1 · 2026-09-21 17:35）：使用Scrapy和scrapy-redis进行大规模网络爬取，实现分布式任务队列
这是模型对公开材料的总结，不是官方声明，请以原链内容为准。

存档时间线

版本	存档时间	内容哈希	内容
v1	2026-09-21 17:33	f6641efa	可取

版本索引永久保留；内容副本只保留最近 2 版，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

纠错与举报（发现条目失效、署名有误或涉及侵权？）

提交举报 / 纠错

侵权举报经核验成立后，我们会即时下线该条目并删除已存的内容副本。