scrapy处理python爬虫调度详解

一种比较简单的模式是 scheduler 作为 master，全局调度。在实际生产中显然是第一种用的更多。显然 scheduler 这部分是不能再用一个爬虫框架来实现的，连主循环都没有咋写逻辑呢？我们可能还要实现增量爬取，或者消费业务方发来的爬取请求等各种业务，这块显然是在 scheduler 里面的，那么这个爬虫系统无非是 scheduler 分发任务给各个 worker 来抓取。worker 还可以使用 scrapy 实现，但是呢，这个 worker 其实已经弱化为一层薄薄的 downloader 了，那我要他干嘛呢？scrapy 的核心逻辑也不过是个深度或者广度优先的遍历而已，少一个依赖不好么……