crawler denfender:反网页爬虫系统 源码

履带式护舷 java web系统的反网页爬虫程序 简介:一些智能的搜索引擎爬虫的爬取频率比较合理,对网站资源消耗比较少,但是很多糟糕的网络爬虫,对网页爬取能力很差,经常并发几百个请求循环重复抓取,这种爬虫对中小型网站经常是破坏灭性打击,特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强,造成的网站访问压力会非常大,会导致网站访问速度缓慢,甚至无法访问。本程序智能识别爬虫,防止爬虫对系统造成的负载,也可用于访问请求的限流。 爬虫识别策略:1.实时策略:访问者IP单位时间内访问次数,超过设置阀值的ip替换观察列表;观察列表中的访问着在下一单位时间内继续访问则要求其填充验证码, 2.离线策略:约会访问统计系统,对访问记录进行持久化,按分,小时,天等维度进行分析,超过阀值的ip列入黑名单; 3.爬虫陷阱:设置爬虫陷阱,爬进陷阱的ip列入黑名单 总体设计分三部分:1.计数器:计数器,用于实时记