Scrapy框架爬虫基本使用流程

爬取数据时,单个数据使用requests或urllib将数据爬取,但是多个url会导致麻烦,使用Scrapy框架一次性爬取多个页面 使用scrapy startproject [项目名称] 在使用命令创建完成之后进入项目文件夹,创建爬虫 scrapy genspider [爬虫名称] 爬虫域名 在项目中的spiders中查看刚刚创建的爬虫 我们需要将存储到的数据存储到本地,需要编写items.py,也需要更改settings.py,pipelines.py 首先编写items.py, class BookItem(scrapy.Item): # define the fields