1. 首页
  2. 编程语言
  3. Python
  4. python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析

python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析

上传者: 2021-06-13 01:03:16上传 PDF文件 724.89 KB 热度 10次

1.1 创建虚拟环境切换到指定目录创建创建完记得激活虚拟环境1.2 创建项目1.3 使用pycharm打开项目,将创建的虚拟环境配置到项目中来1.5 修改允许访问的域名,删除https:二、问题分析爬取数据的思路是先获取首页的基本信息,在获取详情页商品详细信息;爬取京东数据时,只返回40条数据,这里,作者使用selenium,在scrapy框架中编写下载器中间件,返回页面所有数据。

用户评论