爬取新房销售信息——爬虫篇(requests、bs4(BeautifulSoup4)、csv库)

2020年3月14日 任务介绍 此次爬虫任务为“爬取新房销售信息”,获取楼盘名、地址、价格的简单信息,我选取的城市是“赣州”,尝试过安居客、房天下等几个房屋信息网站,安居客有反爬措施,由于是新手比较怂就果断避开了,从信息量来看房天下-赣州符合我的需要,且对新手比较友好,所以选择房天下为对象进行爬虫。 由于信息均为文本,选择保存为csv格式,便于后续读取和分析。 环境准备 我用的是Anaconda3的环境和PyCharm这种IDE工具,首先需要装载此次任务需要用到的函数库:Requests、bs4(BeautifulSoup4)、csv来实现以下功能: 爬取网页内容; 快速定位并获取想要的文本内