论文研究 基于爬虫和网站分类的主题信息源发现方法.pdf

如何发现主题信息源是主题Web信息整合的前提。提出了一种主题信息源发现方法，将主题信息源发现转化为网站主题分类问题，并利用站外链接发现新的信息源。从网站中提取出能反映网站主题的内容特征词和结构特征词，建立描述网站主题的改进的向量空间模型。以该模型为基础，通过类中心向量法与SVM相结合对网站主题进行分类。提出一种能尽量少爬取网页的网络搜索策略，在发现站外链接的同时爬取最能代表网站主题的页面。将该主题信息源发现方法应用于林业商务信息源，通过实验验证了该方法的有效性。