heritrix1.14.4.zip

heritrix-1.14.4.zip Heritrix是一个爬虫框架，可加如入一些可互换的组件。 　它的执行是递归进行的，主要有以下Heritrix有Web控制管理界面 几步：　　1。在预定的URI中选择一个。　　2。获取URI　　3。分析，归档结果　　4。选择已经发现的感兴趣的URI。加入预定队列。　　5。标记已经处理过的URI　　它是IA的开放源代码，可扩展的，基于整个Web的，归档网络爬虫工程　　Heritrix工程始于2003年初，IA的目的是开发一个特殊的爬虫，对网上的　　资源进行归档，建立网络数字图书馆，在过去的6年里，IA已经建立了400TB的数据。