通过Python爬虫代理IP快速增加博客阅读量

一般网站从以下几个方面反爬虫：从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。还有针对cookies，通过检查cookies来判断用户是否是有效用户，需要登录的网站常采用这种技术。综上所述，爬虫代理IP最好使用“高匿IP”user_agent_list包含了目前主流浏览器请求的RequestHeaders的user-agent，通过它我们可以模仿各类浏览器的请求。通过设定随机等待时间来访问网站，可以绕过某些网站对于请求间隔的限制。