论文研究改进的Hadoop作业调度算法.pdf

分布式集群普遍存在负载均衡问题，而Hadoop没有考虑到节点间性能的差异.虽然有负载均衡机制，但是效果不太理想，因此运行过程中经常会出现负载不均衡的情况。针对如上问题，深入分析了Hadoop源代码，理清了Hadoop的运行原理，在Hadoop资源管理机制Yarn中改进了Hadoop任务的排序，建立了新的任务排序规则，提出了对各节点性能评价的指标，分为动态性能指标和静态性能指标。在此基础上对Yarn的FairScheduler算法进行了改进，形成了考虑节点性能的调度算法。重新对Hadoop源码进行了编译，在所搭建的Hadoop平台上进行了对比实验，证明了加入节点性能指标有效解决了Hadoop负载均衡问题，对Hadoop的运行效率有了很大提高。