1. 首页
  2. 移动开发
  3. 其他
  4. nodejs 爬虫框架 哔哩搜索 v1.0

nodejs 爬虫框架 哔哩搜索 v1.0

上传者: 2020-07-21 19:28:54上传 ZIP文件 2.42MB 热度 22次
哔哩搜索-百度网盘搜索引擎是一个以node.js进行开发的百度云分享爬虫项目。同时也是一个简单高效的nodejs爬虫模型。github上有好几个这样的开源项目,但是都只提供了爬虫部分,这个项目在爬虫的基础上还增加了保存数据,建立elasticsearch索引的模块,可以用在实际生产环境中,不过web模块还是需要自己开发。安装:安装node.js和pm2,node用来运行爬虫程序和索引程序,pm2用来管理node任务安装mysql和mongodb,mysql用来保存爬虫数据,mongodb用来保存最终的百度云分享数据,这些数据是json格式的,用mongodb保存更方便。git clone ht
下载地址
用户评论