Scrapy-Redis结合POST请求获取数据的方法示例
通常我们在一个站站点进行采集的时候,如果是小站的话 我们使用scrapy本身就可以满足。要是我们能够多个Scrapy一起采集该多好啊 人多力量大。很遗憾Scrapy官方并不支持多个同时采集一个站点,虽然官方给出一个方法:**将一个站点的分割成几部分 交给不同的scrapy去采集**似乎是个解决办法,但是很麻烦诶!毕竟分割很麻烦的哇下面就改轮到我们的额主角Scrapy-Redis登场了!能看到这篇文章的小伙伴肯定已经知道什么是Scrapy以及Scrapy-Redis了,基础概念这里就不再介绍。默认情况下Scrapy-Redis是发送GET请求获取数据的,对于某些使用POST请求的情况需要重写make_request_from_data函数即可,但奇怪的是居然没在网上搜到简洁明了的答案,或许是太简单了?。
下载地址
用户评论