scrapx:scrapy的定制和增强版本用于管理数百甚至数千只蜘蛛 源码

什么是scrapx? scrapx是一个基于scrapy的定制包。其主要特点有: 优化了scrapy的项目目录结构其中工作空间作为整个爬虫项目的目录,其下自动生成一个scrapx_globals目录用于存放整个爬虫项目能够自动加载的配置,中间件,管道等。项目必须在工作区模块中。具体的爬虫则放在project下一个spiders模块中。 去除了一些相对冗余的文件例如,在项目中不再有settings.py,pipeline.py,middleware.py等文件。甚至将管道和中间件统一放置scrapx_globals,以便大项目的统一管理。原来的settings.py变成run_xxx.py ,