Java多线程爬虫及Crawler Elasticsearch项目实战.zip

版本1: 用Java编写一个多线程爬虫,完成HTTP请求、HTML解析等工作,得到数据后放入H2数据库中,借助Flyway将建表、添加原始数据的工作等(自动化) 使用Maven进行包管理,使用CircleCI进行自动化测试,在生命周期绑定 Checkstyle、SpotBugs 插件保证代码质量 版本2:使用ORM(对象关系映射)重构,使用MyBatis框架 版本3:通过flyway插件迁移数据,将数据从H2 数据库迁移到MySQL数据库 版本4:将主函数从爬虫类中抽取出,形成新的类,方便调用爬虫线程 版本5:借助Elasticsearch编写一个简单的搜索程序