bdp base:大数据生态解决方案基础平台 源码

大数据生态解决方案基础平台 1.1基础搜索 技术:java, db,es 搜索系统 统一搜索入口,搜索nosql db、es、db的数据 1.2碱基共通 技术:java, db, spring cloud 公共系统 属于公共系统抽离,提供基础公共服务 1.3基本任务 任务管理系统 场景1:数据分析的task管理 场景2:跑数据的task管理 场景3:定时task管理 1.4基渠 数据binlog采集 配置mysql binlog, 实时采集到kakfa队列,然后基于kafka队列做spark计算 1.5基础蜘蛛 基础爬虫系统 提供基础爬虫服务:扩展为gold爬虫,store爬虫 1.6 base-dts 封装数据传输系统,基于数据进行互传,暴露接口服务给其他服务调用 基于dataX封装数据传输系统 1.7基本告警 基于grafana、promethus做一个运维告警系统 运维告警系统