基于分布式架构的煤矿企业日志数据分析设计与实现

煤矿企业日志数据分析系统中,对数据的聚合统计,多数据源的数据关联是各种分析的基础操作。设计基于Hadoop的日志数据分析架构,并针对大数据关联准确率低的现象,将Bloom Filter算法与Map-Reduce处理架构融合。相比于传统的数据分析处理方式,算法具有容错性高、效率高等优点。