开源webspider网络蜘蛛 上传者:wqyxc 2019-07-17 21:04:45上传 GZ文件 56.76KB 热度 67次 稳定的网络蜘蛛,可以并行抓取多个站点,BS架构控制系统,使用httpsqs和淘宝的tair可以作为分布式爬虫基础,去重能力强,存储系统为mysql,可以用sphinx等做索引 下载地址 用户评论 更多下载 下载地址 立即下载 用户评论 发表评论