基于Hadoop平台的通信数据分布式查询算法的设计与实现

本文重点阐述了通信数据分布式存储与查询在Hadoop 平台上的实现。据Hbase数据库的特色设计了通信社会网络数据模型。实现了基于Hbase数据库上的条件查询。并对设计好的数据模型进行了优化。最后在Hadoop数据服务平台上实现了面向软件客户端的数据访问服务。设计了适合通信社会网络数据特色的 Map/Reduce算法。通过MaP和Reduee函数实现了数据的并行查询和处理。在数据查询过程中,还将数据遍历过程放Reduce函数中,从而使广度优先搜索算法的层次遍历过程也能够并行运行。这在很大程度上优化了数据查询和分层扩展的效率