论文研究Hadoop云平台MapReduce模型优化研究.pdf

针对Hadoop平台MapReduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题，从提高平台中每个执行节点的细粒度并行数据处理角度出发，结合Java共享内存多线程编程技术，对该模型进行了优化，提出一种MapReduceOpenMP粗细粒度相结合的分布式并行计算模型。并在由四个节点组成的Hadoop集群环境下对不同规模大小的出租车GPS轨迹数据分析处理，验证该模型的性能和效率，实验结果证明MapReduceOpenMP分布式并行计算模型确实能够提高针对大数据集的计算效率，是对Hadoop平台大数据分析处理模型有效的完善和优化。