Python scrapy 爬虫入门(七)突破反爬虫技术

1 反爬虫技术及突破措施 1.1 降低请求频率 降低请求频率以模仿人类用户,而不是机器。 settings.py中设置DOWNLOAD_DELAY即可 # 即两次请求间隔为 3 秒 DOWNLOAD_DELAY = 3 另外,为了防止请求过于规律,可以使用RANDOMIZE_DOWNLOAD_DELAY设置一个介于0.5* DOWNLOAD_DELAY和1.5 *DOWNLOAD_DELAY之间的随机延迟时间。 RANDOMIZE_DOWNLOAD_DELAY = TRUE 1.2 修改请求头 伪装用户进行爬虫时,一定不要忘记设置请求头以表示自己是人形用户。特别是警觉性比较高的网站,请求头