论文研究基于最优查询的多领域deepWeb爬虫.pdf

DeepWeb信息通过在网页搜索接口提交查询词获得。通用搜索引擎使用超链接爬取网页，无法索引deepWeb数据。为解决此问题，介绍一种基于最优查询的deepWeb爬虫，通过从聚类网页中生成最优查询，自动提交查询，最后索引查询结果。实验表明系统能自动、高效地完成多领域deepWeb数据爬取。