1. 首页
  2. 移动开发
  3. 其他
  4. crawlab:用于蜘蛛管理的分布式Web爬网程序管理平台与语言和框架无关。分布式爬虫管理平台支持任何语言和框架 源码

crawlab:用于蜘蛛管理的分布式Web爬网程序管理平台与语言和框架无关。分布式爬虫管理平台支持任何语言和框架 源码

上传者: 2021-04-04 17:57:25上传 ZIP文件 1.1MB 热度 8次
克劳伯 | 英语 | | | | | | 基于Golang的分布式Web爬网程序管理平台,支持多种语言,包括Python,NodeJS,Go,Java,PHP和各种Web爬网程序框架,包括Scrapy,Puppeteer,Selenium。 | 安装 三种方法: (推荐) (检查内部内核) (多节点部署) 前提条件(Docker) Docker 18.03+ Redis 5.x + MongoDB 3.6+ Docker Compose 1.24+(可选,但推荐) 前提条件(直接部署) 转到1.12+ 节点8.12+ Redis 5.x + MongoDB 3.
下载地址
用户评论