Python使用scrapy采集时伪装成HTTP/1.1的方法

本文实例讲述了Python使用scrapy采集时伪装成HTTP/1.1的方法。分享给大家供大家参考。具体如下: 添加下面的代码到 settings.py 文件 复制代码 代码如下:DOWNLOADER_HTTPCLIENTFACTORY = ‘myproject.downloader.HTTPClientFactory’ 保存以下代码到单独的.py文件 复制代码 代码如下:from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter class PageGetter(Scra