基于节点性能的Hadoop作业调度算法改进.PDF

第３４卷第５期　　　 计算机应用与软件 Ｖｏｌ３４Ｎｏ．５ ２０１７年５月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｍａｙ２０１ ７ 基于节点性能的Ｈａｄｏｏｐ作业调度算法改进 冯兴杰　贺　阳 （中国民航大学计算机科学与技术学院　天津３００３００） 摘　要　　由于构成数据中心的计算设备一般都存在性能上的差异，但是Ｈａｄｏｏｐ调度算法没有考虑不同节点的 性能差异，导致节点间出现“忙闲不均”的现象，影响作业的执行效率。针对如上问题，在系统分析Ｈａｄｏｏｐ资源 管理机制（Ｙａｒｎ）源代码的基础上，提出了节点性能评价指标，综合考虑节点的硬件配置参数和运行过程中的动态 性能指标。在此基础上对ＦａｉｒＳｃｈｅｄｕｌｅｒ调度算法进行改进，实现了基于节点性能的任务分配，整体上提高了所 有节点的利用率。在Ｈａｄｏｏｐ集群上的实验表明，所提出的节点性能评价指标和对ＦａｉｒＳｃｈｅｄｕｌｅｒ调度算法的改 进，有效解决了节点的负载均衡问题，整体上提高了作业执行效率。 关键词　　大数据　Ｈａｄｏｏｐ　Ｙａｒｎ　负载均衡　ＦａｉｒＳｃｈｅｄｕｌｅｒ算法 中图分类号　ＴＰ３０２．７　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１７．０５．０３９ ＩＭＰＲＯＶＥＭＥＮＴＯＦＳＣＨＥＤＵＬＩＮＧＡＬＧＯＲＩＴＨＭＯＮＨＡＤＯＯＰＢＡＳＥＤ ＯＮＮＯＤＥＰＥＲＦＯＲＭＡＮＣＥ ＦｅｎｇＸｉｎｇｊｉｅ　ＨｅＹａｎｇ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＣｉｖｉｌＡｖｉａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，Ｔｉａｎｊｉｎ３００３００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｂｅｃａｕｓｅｔｈｅｃｏｍｐｕｔｉｎｇｄｅｖｉｃｅｓｔｈａｔｍａｋｅｕｐｔｈｅｄａｔａｃｅｎｔｅｒｇｅｎｅｒａｌｌｙｈａｖｅｄｉｆｆｅｒｅｎｔｐｅｒｆｏｒｍａｎｃｅ，Ｈａｄｏｏｐ ｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍｄｏｅｓｎｏｔｃｏｎｓｉｄｅｒｔｈｅｐｅｒｆｏｒｍａｎｃｅｄｉｆｆｅｒｅｎｃｅｏｆｄｉｆｆｅｒｅｎｔｎｏｄｅｓ，ｒｅｓｕｌｔｉｎｇｉｎｔｈｅｐｈｅｎｏｍｅｎｏｎｏｆ “ｂｕｓｙａｎｄｉｄｌｅｉｎｈｏｍｏｇｅｎｅｏｕｓ”ｂｅｔｗｅｅｎｎｏｄｅｓ，ａｆｆｅｃｔｉｎｇｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｊｏｂｅｘｅｃｕｔｉｏｎ．Ｉｎｖｉｅｗｏｆｔｈｅａｂｏｖｅｐｒｏｂｌｅｍ， ｂａｓｅｄｏｎｔｈｅａｎａｌｙｓｉｓｏｆｔｈｅｓｏｕｒｃｅｃｏｄｅｏｆＨａｄｏｏｐｒｅｓｏｕｒｃｅｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍ（Ｙａｒｎ），ｔｈｅｎｏｄｅｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎｉｎｄｅｘｉｓｐｒｏｐｏｓｅｄ．Ｃｏｎｓｉｄｅｒｉｎｇｔｈｅｈａｒｄｗａｒｅｃｏｎｆｉｇｕｒａｔｉｏｎｐａｒａｍｅｔｅｒｓａｎｄｔｈｅｄｙｎａｍｉｃｐｅｒｆｏｒｍａｎｃｅｉｎｄｅｘｅｓ， ｔｈｅＦａｉｒＳｃｈｅｄｕｌｅｒｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍｉｓｉｍｐｒｏｖｅｄ，ａｎｄｔｈｅｔａｓｋａｌｌｏｃａｔｉｏｎｂａｓｅｄｏｎｎｏｄｅｐｅｒｆｏｒｍａｎｃｅｉｓｒｅａｌｉｚｅｄ，ａｎｄ ｔｈｅｕｔｉｌｉｚａｔｉｏｎｒａｔｅｏｆａｌｌｔｈｅｎｏｄｅｓｉｓｉｍｐｒｏｖｅｄａｓａｗｈｏｌｅ．ＴｈｅｅｘｐｅｒｉｍｅｎｔｓｏｎＨａｄｏｏｐｃｌｕｓｔｅｒｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄ ｎｏｄｅｐｅｒｆｏｒｍａｎｃｅｅｖａｌｕａｔｉｏｎｉｎｄｅｘａｎｄｔｈｅｉｍｐｒｏｖｅｍｅｎｔｏｆＦａｉｒＳｃｈｅｄｕｌｅｒｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍｅｆｆｅｃｔｉｖｅｌｙｓｏｌｖｅｔｈｅ ｐｒｏｂｌｅｍｏｆｎｏｄｅｌｏａｄｂａｌａｎｃｉｎｇａｎｄｉｍｐｒｏｖｅｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｊｏｂｅｘｅｃｕｔｉｏｎａｓａｗｈｏｌｅ． Ｋｅｙｗｏｒｄｓ　　Ｂｉｇｄａｔａ　Ｈａｄｏｏｐ　Ｙａｒｎ　Ｌｏａｄｂａｌａｎｃｉｎｇ　ＦａｉｒＳｃｈｅｄｕｌｅｒａｌｇｏ