开源通用爬虫框架YayCrawler.zip

YayCrawler是一个基于WebMagic开发的分布式通用爬虫框架，开发语言是Java。我们知道目前爬虫框架很多，有简单的，也有复杂的，有轻 量型的，也有重量型的。您也许会问：你这个爬虫框架的优势在哪里呢？额，这个是一个很重要的问题！在这个开篇中，我先简单的介绍一下我这个爬虫框架的特 点，后面的章幅会详细介绍并讲解它的实现，一图胜千言：1、分布式：YayCrawler就是一个大哥（Master）多个小弟（Worker）的架构（这种结构才是宇宙的真理），当然大哥还有一个小秘（Admin）和外界交往。2、通用性：我们很多时候需要爬取不同网站的数据，各个网站的结构和内容都有很大的差别，基本上大部