论文研究 一种互联网新闻网页的采集分析方法.pdf

为解决搜索引擎返回结果数量上的限制，扩展了元搜索技术，提出链接群落、链接繁殖的概念，并与生物群落进行了对比。链接繁殖的思想是首先将多个搜索引擎返回的结果作为起始信息源，利用预定义的繁殖规则，优化并整合搜索结果，对链接所指网页的链接进行分析，繁殖出更多的相关信息源。在分析不同的搜索引擎结果集时，系统根据不同搜索引擎直接与繁殖发现信息源的能力与质量，动态调整繁殖的链接的优先次序。经过实验验证，链接繁殖可以大大扩展通过搜索引擎发现主题信息源的数量。