pholcus:Pholcus是用纯golang编写的分布式高并发爬虫软件 源码

菲尔库斯 Pholcus(幽灵蛛)是一种纯Go语言编写的支持分布式的高并发爬虫软件,仅用于编程学习与研究。 它支持单机,服务端,客户端三种运行模式,拥有Web,GUI,命令行界面操作界面;规则简单灵活,批量任务并发,输出方式丰富(mysql / mongodb / kafka / csv / excel等);另外它还支持横向初步两种抓取模式,支持模拟登录和任务暂停,取消等连续高级功能。 免责声明 如在中国大陆频频爆出爬虫开发者涉诉与违规的。郑重声明:因违法违规使用造成的一切后果,使用者自行承担!! 爬虫原理 框架特点 为拥有一定Go或JS编程基础的用户提供轻松关注的规则定制,功能完备的重量级