论文研究 一种新的面向主题的爬行算法.pdf

虽然通用网络爬行器已经给人们提供了极大的便利，但由于它的综合性不具备面向专业的特点，在准确性和速度等方面存在不足；面向主题的爬行器能弥补这些不足。主要研究面向主题网络爬行器两个方面的问题，即如何充分地定义主题和有效地排序爬行器待下载链接队列中的链接，使得只需访问很少的不相关页面就能够得到很多相关的页面链接。结合网页的半结构化信息特征，提出了一种新的基于内容的爬行策略，实验结果显示是一种寻找主题相关页面很有效的方法。