使用 Node.js 开发资讯爬虫流程

最近项目需要一些资讯,因为项目是用 Node.js 来写的,所以就自然地用 Node.js 来写爬虫了 项目地址:github.com/mrtanweijie... ,项目里面爬取了 Readhub 、 开源中国 、 开发者头条 、 36Kr 这几个网站的资讯内容,暂时没有对多页面进行处理,因为每天爬虫都会跑一次,现在每次获取到最新的就可以满足需求了,后期再进行完善 爬虫流程概括下来就是把目标网站的HTML下载到本地再进行数据提取。 一、下载页面 Node.js 有很多http请求库,这里使用 request ,主要代码如下: requestDownloadHTML () { const