论文研究高斯分布无线传感器网络簇头选择算法.pdf

针对日益突出的网页访问问题，设计了一种新型分布式WebSpider。该分布式WebSpider采用中央控制节点来协调各个webspider的行为，利用宽度优先搜索来获得高质量的网页，通过对DNS缓存来提高访问webserver的速度，以增加并行线程数量的方式来增加网页下载速度，并能动态地加入webspider节点和子中央控制节点，具有很强的灵活性和扩张能力。实验结果表明该分布式WebSpider作为搜索引擎的前端能够快速有效地下载网页，具有较好的性能。