iWebCrawler搜索爬虫加速工具 v1.0

iWebCrawler 百度谷歌搜索爬虫加速工具(iWebCrawler 搜索爬虫加速工具) iWebCrawler搜索爬虫加速工具提供常见搜索引擎日志分析(重点是百度爬虫);可根据网站提供的符合格式的百度sitemap网站地图,把每天的新产出链接主动推送给百度推送接口,并且能够在推送前过滤掉百度爬虫已抓取链接及系统已推送的链接,从而加快网站收录速度,提升网站权重。可根据用户要求为用户定制百度sitemap网站地图生成功能模块,支持生成百度Sitemap协议三种格式:文本格式、xml格式、Sitemap索引格式,可以根据自己情况来选择任意一种格式组织sitemap;如果文件很大,可以自动拆分为