logcount:基于火花流和kafkahbase的日志统计分析系统 源码

日志分析系统 系统架构 本使用kafka,spark,hbase开发日志分析系统。 软件模块 Kafka:作为日志事件的消息系统,具有多样性,可划分,可重复的消息服务功能。 Spark:使用火花流功能,实时分析消息系统中的数据,完成计算分析工作。 Hbase:做为预先存储,存储spark计算结构,供其他系统进行调用 环境部署 软件版本 hadoop版本:Hadoop相关软件如zookeeper,hadoop,hbase,使用的是cloudera的cdh 5.2.0版本。 卡夫卡:2.9.2-0.8.1.1 软件安装 一种。部署kafka tar -xzf kafka_2.9.2-0.8.1.1.tgz b。编辑kafka配置文件 config/server-1.properties: broker.id=0 port=9093 log.dir=/tmp/ka