爬虫实战—爬取房天下全国所有的楼盘并入库(附源码)

1.创建项目 使用命令创建scrapy项目:scrapy startproject fang 进入到spiders文件中: cd fang/fang/spiders 创建爬虫文件:scrapy genspider sfw https://www.fang.com/SoufunFamily.htm 2.xpath解析页面,获取所需元素 快捷键“ctrl+shift+x”,调出xpath插件,通过xpath语法获取全国“省,市” 3.获取省和市 注意:当市有多行时,第二行开始就没有了省份,需要作出判断,为市添加对应的省份 class SwfSpider(scrapy.Spider