一种新的基于概念树的主题网络爬虫方法

一种新的基于概念树的主题网络爬行方法。与传统基于关键词描述主题的方法不同,本文提出基于叙词表来 构建一种称为概念树的表示方法来描述主题的概念。在此基础上,本文给出锚文本和HTML页面内容与主题相关度的 计算方法。在分析URL的相关度时,首先判断其锚文本的相关度是否达到一定的阈值