基于Python scrapy redis的分布式爬虫实现框架

爬虫python入门scrapyredismongodb基于Python scrapyredis的分布式爬虫实现框架project start运行run.pyscrapynews.py主要功能是抓取种子url保存到redis redis mongo.py主要是从redis里面读url解析数据保存到mongodb拓展到其他机器都是从redis里面读url