Hadoop延迟调度中延迟时间间隔的合理设置-中国云计算.PDFVIP

第３０卷第１２期　　　 计算机应用与软件 Ｖｏｌ３０Ｎｏ．１２ ２０１３年１２月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｄｅｃ．２０１３ Ｈａｄｏｏｐ延迟调度中延迟时间间隔的合理设置 柯何杨　杨　群　王立松　朱快快 （南京航空航天大学计算机科学与技术学院　江苏南京２１００１６） 摘　要　　基于Ｈａｄｏｏｐ框架的云计算中，为减少数据迁移提高程序执行效率，延迟调度算法允许作业花费一定的延迟时间间隔等 待某计算资源包含该作业待处理数据，而延迟时间间隔的选择往往是一个经验值。在分析了作业待处理数据在文件系统中的分布 情况如何影响作业本地化调度的基础上，引入参数用户期望本地化概率，推导出等待时间的计算公式。该公式区分不同的作业，设 置不同的等待时间，并且用户可以根据期望本地化概率这一参数来调控作业预期的本地化程度。对上述方法进行实验验证，结果表 明：通过公式计算出的延迟时间能够使得作业达到用户预期的本地化效果。 关键词　　延迟调度　延迟时间间隔　本地化　期望本地化概率 中图分类号　ＴＰ３１１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１３．１２．０５４ ＲＥＡＳＯＮＡＢＬＹＳＥＴＴＩＮＧＤＥＬＡＹＩＮＧＴＩＭＥＩＮＴＥＲＶＡＬＩＮ ＨＡＤＯＯＰＤＥＬＡＹＳＣＨＥＤＵＬＩＮＧ ＫｅＨｅｙａｎｇ　ＹａｎｇＱｕｎ　ＷａｎｇＬｉｓｏｎｇ　ＺｈｕＫｕａｉｋｕａｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＡｅｒｏｎａｕｔｉｃｓａｎｄＡｓｔｒｏｎａｕｔｉｃｓ，Ｎａｎｊｉｎｇ２１００１６，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＩｎＨａｄｏｏｐｆｒａｍｅｗｏｒｋｂａｓｅｄｃｌｏｕｄｃｏｍｐｕｔｉｎｇ，ｉｎｏｒｄｅｒｔｏｒｅｄｕｃｅｄａｔａｔｒａｎｓｆｅｒａｎｄｉｍｐｒｏｖｅｐｒｏｇｒａｍｅｆｆｉｃｉｅｎｃｙ，ｔｈｅｄｅｌａｙ ｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍａｌｌｏｗｓｊｏｂｔｏｓｐｅｎｄａｃｅｒｔａｉｎａｍｏｕｎｔｏｆｄｅｌａｙｔｉｍｅｉｎｔｅｒｖａｌｔｏｗａｉｔｔｈｅｄａｔａｔｏｂｅｐｒｏｃｅｓｓｅｄｉｎｔｈｅｏｐｅｒａｔｉｏｎｔｏｂｅ ｃｏｎｔａｉｎｅｄｉｎｃｅｒｔａｉｎｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅ，ｂｕｔｔｈｅｄｅｌａｙｉｎｇｔｉｍｅｉｎｔｅｒｖａｌｓｅｌｅｃｔｅｄｉｓｏｆｔｅｎａｎｅｘｐｅｒｉｅｎｃｅｖａｌｕｅ．Ｉｎｔｈｉｓｐａｐｅｒｗｅｉｎｔｒｏｄｕｃｅｔｈｅ ｐｒｏｂａｂｉｌｉｔｙｏｆｐａｒａｍｅｔｅｒｕｓｅｒｓｅｘｐｅｃｔｅｄｌｏｃａｌｉｓａｔｉｏｎａｎｄｄｅｒｉｖｅｔｈｅｃａｌｃｕｌａｔｉｏｎｆｏｒｍｕｌａｏｆｗａｉｔｉｎｇｔｉｍｅｂａｓｅｄｏｎｔｈｅａｎａｌｙｓｉｓｏｆｈｏｗｔｈｅ ｏｐｅｒａｔｉｎｇｄａｔａｔｏｂｅｐｒｏｃｅｓｓｅｄｉｎｔｈｅｆｉｌｅｓｙｓｔｅｍａｆｆｅｃｔｓｔｈｅｌｏｃａｌｉｓｅｄｊｏｂｓｃｈｅｄｕｌｉｎｇ．Ｔｈｅｆｏｒｍｕｌａｄｉｓｔｉｎｇｕｉｓｈｅｓｄｉｆｆｅｒｅｎｔｊｏｂｓａｎｄｓｅｔｓｄｉｆｆｅｒｅｎｔ ｗａｉｔｉｎｇｔｉｍｅ，ａｎｄｔｈｅｕｓｅｒｓｃａｎｃｏｎｔｒｏｌｔｈｅｌｏｃａｌｉｓａｔｉｏｎｄｅｇｒｅｅｔｈｅｊｏｂｅｘｐｅｃｔｅｄｂａｓｅｄｏｎｔｈｅｐａｒａｍｅｔｅｒｏｆｄｅｓｉｒｅｄｌｏｃａｌｉｓａｔｉｏｎｐｒｏｂａｂｉｌｉｔｙ． Ｅｘｐｅｒｉｍｅｎｔｉｓｃｏｎｄｕｃｔｅｄｔｏｖｅｒｉｆｙｔｈｅａｂｏｖｅｍｅｔｈｏｄ，ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｄｅｌａｙｔｉｍｅｃｏｍｐｕｔｅｄｂｙｔｈｅａｂｏｖｅｆｏｒｍｕｌａｃａｎｍａｋｅｔｈｅ ｏｐｅｒａｔｉｏｎｒｅａｃｈｔｈｅｌｏｃａｌｉｓａｔｉｏｎｅｆｆｅｃｔｔｈａｔｔｈｅｕｓｅｒｓｅｘｐｅｃｔｅｄ． Ｋｅｙｗｏｒｄｓ　　Ｄｅｌａｙｓｃｈｅｄｕｌｉｎｇ　Ｄｅｌａｙｔｉｍｅｉｎｔｅｒｖａｌ　Ｌｏｃａｌｉｓａｔｉｏｎ　Ｅｘｐｅｃｔｅｄｌｏｃａｌｉｓａｔｉｏｎｐｒｏｂａｂｉｌｉｔｙ