crawlab:用于蜘蛛管理的分布式Web爬网程序管理平台与语言和框架无关。分布式爬虫管理平台支持任何语言和框架 源码

克劳伯 | 英语 | | | | | | 基于Golang的分布式Web爬网程序管理平台,支持多种语言,包括Python,NodeJS,Go,Java,PHP和各种Web爬网程序框架,包括Scrapy,Puppeteer,Selenium。 | 安装 三种方法: (推荐) (检查内部内核) (多节点部署) 前提条件(Docker) Docker 18.03+ Redis 5.x + MongoDB 3.6+ Docker Compose 1.24+(可选,但推荐) 前提条件(直接部署) 转到1.12+ 节点8.12+ Redis 5.x + MongoDB 3.