Python 基于scrapyredis的分布式爬虫爬取JD图书当当图书和Amazon图书
采用scrapy-redis爬去京东图书,当当图书和Amazon图书,采用分布式爬虫爬取数据,实现爬虫的暂停和开始,断点再续,URL去重,数据存储等,属于轻量级爬虫
下载地址
用户评论