1. 首页
  2. 移动开发
  3. 其他
  4. Python 基于scrapyredis的分布式爬虫爬取JD图书当当图书和Amazon图书

Python 基于scrapyredis的分布式爬虫爬取JD图书当当图书和Amazon图书

上传者: 2020-07-26 02:18:18上传 ZIP文件 2.04MB 热度 18次
采用scrapy-redis爬去京东图书,当当图书和Amazon图书,采用分布式爬虫爬取数据,实现爬虫的暂停和开始,断点再续,URL去重,数据存储等,属于轻量级爬虫
下载地址
用户评论