论文研究一种基于资源预取的Hadoop作业调度算法.pdf

Hadoop原有的作业调度算法在任务级调度阶段均采用简单考虑数据本地性的任务分配策略，并不能保证良好的数据本地性，而相应的改进算法改进目标不一，也不完全适用于所有作业调度场合。针对以上问题，结合数据预取理念提出一种基于资源预取的作业调度算法。通过估算节点上正在运行任务的剩余执行时间，并与传输一个数据块所需时间进行比较，预选出待预取的候选节点；并从当前正在运行作业的未分配任务中选取非本地map任务作为待预取任务；最后，为该任务在候选节点上预取其所需数据。实验结果表明该改进算法有效地提高了作业的数据本地性，并在一定程度上减少了作业执行时间。