Python爬虫设置Cookie解决网站拦截并爬取蚂蚁短租的问题

我们在编写Python爬虫时，有时会遇到网站拒绝访问等反爬手段，比如这么我们想爬取蚂蚁短租数据，它则会提示“当前访问疑似黑客攻击，已被网站管理员设置为拦截”提示，如下图所示。此时我们需要采用设置Cookie来进行爬取，下面我们进行详细介绍。非常感谢我的学生承峰提供的思想，后浪推前浪啊！通过浏览器审查元素，我们可以看到需要爬取每条租房信息都位于节点下。很多人学习python，不知道从何学起。在定位房屋名称，如下图所示，位于节点下。但很遗憾，报错了，说明蚂蚁金服防范措施还是挺到位的。二. 设置Cookie的BeautifulSoup爬虫添加消息头的代码如下所示，这里先给出代码和结果，再教大家如何获取Cookie。