webmagic是一个开源的Java垂直爬虫框架目标是简化爬虫的开发流程让开发者专注于逻辑功能的开发webmagic的核心

webmagic的主要特色完全模块化的设计强大的可扩展性.核心简单但是涵盖爬虫的全部流程灵活而强大也是学习爬虫入门的好材料.提供丰富的抽取页面API.无配置但是可通过POJO注解形式实现一个爬虫.支持多线程.支持分布式.支持爬取js动态渲染的页面.无框架依赖可以灵活的嵌入到项目中去.