网络爬虫域名采集器有效网站域名批量采集工具

本软件工作原理是从一个初始网址中，查找外部网站，比如初始页面中有30个外部网站，那就继续爬取这30个外本网站， 可以正常访问的就收录进数据库，并且在这30个网站中再次查找外部网站如果每个站有30个外部网站，那就是30*30=900个 然后再访问这900个网站剔除无法访问的，找到正常访问的剔除重复加入数据库，然后再查找他们页面中的外部网站，如需往复 形成裂变式蜘蛛网！ 当然这里边需要处理很多事情，比如爬行记录的去重、多线程之间的干扰、等等问题 历时一个月终于开发调试出抢答稳定的2.0版本。更好的利用了现代多核CPU的性能