网络爬虫在 Web 信息搜索与数据挖掘中应用

分析了万维网不良网络信息对网络文化安全带来的挑战, 提出了Web信息搜索与数据挖掘体系结构, 并介绍了该体系结构中的关键技术和运行原理。分析了普通爬虫所实现的功能和不足之后,重点论述了该爬虫的工作原理、实现方式和性能分析以及该爬虫不同于其它爬虫的功能和在 Web 信息搜索与数据挖掘体系中应用。通过试验测试表明, 该爬虫能够很好地获取万维网上的各种信息资源, 有助于网络文化内容监测与管理。