基于大数据的电力系统数据集成管理平台设计

针对当前电力数据海量异构和共享度不高的问题,结合Hadoop和电力企业数据共享的必要 性,提出一种基于Hadoop 的数据集成管理平台。为实现该平台,首先利用HDFS分布式文件系统 对元数据进行管理,以提高海量数据的集成管理效率;采用HBase的数据共享模式,提高数据共享 度;最后针对传统Apriori算法的问题,对Apriori算法进行改进,具体则是引入MapRduce并行化处 理框架对算法进行设计,以提高Apriori算法运算效率,进而达到提高电力元数据挖掘效率。最后 搭建Hadoop平台,验证上述平台在对海量电力元数据挖掘中的效率。