1. 首页
  2. 编程语言
  3. C++ 
  4. 开源webspider网络蜘蛛webspider1.0.0.6.tar.gz

开源webspider网络蜘蛛webspider1.0.0.6.tar.gz

上传者: 2019-07-17 21:04:55上传 GZ文件 40.67KB 热度 31次
稳定的网络蜘蛛,可以并行抓取多个站点,BS架构控制系统,使用httpsqs和淘宝的tair可以作为分布式爬虫基础,去重能力强,存储系统为mysql,可以用sphinx等做索引
用户评论