pyspider Python中强大的Spider(Web Crawler)系统。 用Python编写脚本 带有脚本编辑器,任务监视器,项目管理器和结果查看器的强大WebUI , , , , ; 以作为数据库后端 , 和作为消息队列 任务优先级,重试,定期,按年龄重新爬网等。 分布式架构,抓取Javascript页面,Python 2. {6,7},3。{3,4,5,6}支持等... 教程: : 文档: : 发行说明: : 样例代码 from pyspider . libs . base_handler import * class Handler ( Bas
