Python scrapy 爬虫入门(三)scrapy 爬虫示例

1 爬虫示例 要实现爬虫功能,只要执行四个步骤: 定义spider 类 确定 spider 的名称(name) 获取初始化请求(start_request) 解析数据 parse() 1.1 示例1 重写 start_request() 方法 示例1:重写 start_request() 方法, 1)将爬虫伪装成浏览器。 2)设置新的解析数据的回调函数(不使用默认的parse()) from scrapy import Request from scrapy.spiders import Spider class hotSalesSpider(Spider): # 定义 爬虫名称 name