Scrapy学习笔记 Scrapy入门之创建爬虫

Creating a project 在开始抓取之前,您将必须设置一个新的Scrapy项目。 输入您要存储代码并运行的目录:scrapy startproject tutorial Anacoda下使用 这将创建一个包含以下内容的教程目录: Spiders是您定义的类,Scrapy用于从网站(或一组网站)中获取信息。 他们必须继承Spider的子类,并定义要发出的初始请求,可以选择如何跟随页面中的链接,以及如何解析下载的页面内容以提取数据。 这是我们第一个Spider的代码。 将其保存在项目中tutorial/spiders目录下的一个名为quotes_spider.py的文件中: imp