1. 首页
  2. 编程语言
  3. Java
  4. Java多线程爬虫及Crawler Elasticsearch项目实战.zip

Java多线程爬虫及Crawler Elasticsearch项目实战.zip

上传者: 2021-04-28 02:59:18上传 ZIP文件 3.24MB 热度 5次
版本1: 用Java编写一个多线程爬虫,完成HTTP请求、HTML解析等工作,得到数据后放入H2数据库中,借助Flyway将建表、添加原始数据的工作等(自动化) 使用Maven进行包管理,使用CircleCI进行自动化测试,在生命周期绑定 Checkstyle、SpotBugs 插件保证代码质量 版本2:使用ORM(对象关系映射)重构,使用MyBatis框架 版本3:通过flyway插件迁移数据,将数据从H2 数据库迁移到MySQL数据库 版本4:将主函数从爬虫类中抽取出,形成新的类,方便调用爬虫线程 版本5:借助Elasticsearch编写一个简单的搜索程序
用户评论