scrapy-redis源码分析之发送POST请求详解

先来说一说需求，也就是说美团POST请求形式。我们以获取某个地理坐标下，所有店铺类别列表请求为例。获取所有店铺类别列表时，我们需要构造一个包含位置坐标经纬度等信息的表单数据，以及为了向下一层parse方法传递的一些必要数据，即meta，然后发起一个POST请求。继续查看RedisMinxin类源码。RedisMinxin类源码太多，这里就不将所有源码贴出来了，不过，惊喜的是，在RedisMinxin中，真找到了类似于start_requests、make_requests_from_url这样的方法，如：start_requests、next_requests、make_request_from_data等。不，不存在的，改源码可不是好习惯。我们直接在我们自己的Spider类中重写make_request_from_data方法就好了：搞清楚原理之后，就是这么简单。万事俱备，只欠东风――将url，form_data，meta存储到redis中。另外新建一个模块实现这一部分功能：在启动scrapy-redis之前，运行一下这一模块即可。