搜索引擎系统中网页抓取模块研究

如今互联网资源迅速膨胀,搜索引擎能够从浩如烟海的杂乱信息中抽出一条清晰的检 索路径,让用户获得自己需要的信息。由蜘蛛程序实现的网页抓取模块是搜索引擎系 统提供服务的基础,从资源的角度决定了整个系统的成败。鉴于此,介绍搜索引擎系统 的基本工作原理,分析网页抓取模块的工作流程,研究开源网络蜘蛛Heritrix 的几个关 键组件,在充分了解Heritrix 构架的基础上扩展Extractor 组件,成功实现个性化的抓 取逻辑。