基于Hadoop的煤矿数据中心架构设计

根据煤矿安全生产业务需求及智慧矿山发展要求，新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储，数据集成、业务应用及数据分析难度大等问题，设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算，并应用MapReduce、Spark实现批处理计算和内存计算，解决高频时序数据存储与海量数据计算问题；采用Hadoop分布式文件系统（HDFS）实现文件的可靠存储，并采用HBase分布式存储数据库实现历史数据的持久化存储，利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求；采用R