Python爬虫之爬取二手房信息

前言说到二手房信息，不知道你们心里最先跳出来的公司（网站）是什么，反正我心里第一个跳出来的是网站是 58 同城。但很显然，我失败了。说显然，而不是不幸，这是因为 58 同城是大公司，我这点本事爬不了数据是再正常不过的了。下面来看看 58 同城的反爬手段了。我们看到爬取下来的源码有很多英文大写字母和数字是网页源码中没有的，后来我了解到 58 同城对自己的网站的源码进行了文本加密，所以就出现了我爬取到的情况。爬取二手房信息我打开 58 同城的 robots 协议。其中的页数和 pg 后面的数字有关。这时候我们获得的就是 li 标签的 etree 的类，可以继续使用 etree 类里的函数。然后我们就可以利用 for 循环提出不同房源的 li 标签，根据自己的需要获取文本信息。