1. 首页
  2. 移动开发
  3. webOS
  4. 在scrapy中使用phantomJS实现异步爬取的方法

在scrapy中使用phantomJS实现异步爬取的方法

上传者: 2020-12-13 02:30:00上传 PDF文件 35.57KB 热度 12次

使用selenium能够非常方便的获取网页的ajax内容,并且能够模拟用户点击和输入文本等诸多操作,这在使用scrapy爬取网页的过程中非常有用。网上将selenium集成到scrapy的文章很多,但是很少有能够实现异步爬取的,下面这段代码就重写了scrapy的downloader,同时实现了selenium的集成以及异步。

下载地址
用户评论