论文研究 基于资源签名与遗传算法的Hadoop参数自动调优系统.pdf

在Hadoop集群的优化配置中，配置参数存在种类繁多、含义复杂、相互关联影响的特性，导致难以实现快速准确寻优。针对以上问题，构建了Hadoop集群自动调优系统，其中在系统中设计了资源获取器与参数配置库，分别用于获取各作业的资源消耗与存储分发配置方案。该系统利用MapReduce作业的小规模数据集资源签名将任务分类，在遗传算法框架中通过任务的测试评估对配置方案进行自动迭代优化。实验结果表明，调优后集群的任务完成时间明显缩减，集群的资源利用率有了明显提升。