feapder:feapder是一种支持分布式扩展采集任务防丢报警丰富的python爬虫框架的 源码

加料器 简介 feapder是一种简单,快速,轻量级的爬虫框架。起名源于fast,easy,air,pro,spider的缩写,以开发快速,抓取快速,使用简单,功能强大为一体,历时4年倾心打造。支持轻量爬虫,分布爬虫,并列爬虫,爬虫集成,以及完善的爬虫报警机制。 之前一直在公司内部使用,已使用本框架采集100+数据源,日采千万数据。现在开源,供大家学习交流! 读音: [ˈfiːpdə] 官方文档: : 环境要求: Python 3.6.0以上 适用于Linux,Windows,macOS 安装 从PyPi: pip3 install feapder 从Git: pip3 install git+https://github.com/Boris-code/feapder.git 若安装出错,请参考 小试一下 创建爬虫 feapder create -s first_spider 创