搜索引擎中网络蜘蛛的设计与实现
：文章从搜索引擎的应用出发，探讨了网络蜘蛛在搜索引擎中的作用和地位，提出了网络蜘蛛的功能和设计要求。在对网络蜘蛛系统结构和工作原理所作分析的基础上，研究了线程调度、页面爬取、解析等策略和算法，并使用Java实现了一个网络蜘蛛的程序，对其运行结果做了分析。
下载地址
用户评论
偏实现基础，算法和策略都较老，但思路很清晰，值得一看