一种Hadoop中基于作业类别和截止时间的调度算法-OpenRepository.PDF

第 卷 第 期 计 算 机 科 学 ４２ ６ Ｖｏｌ．４２Ｎｏ．６ 　 ２ 年 月 Ｊｕ ０１５ ６ ｍ ｕｔｅｒ Ｓｃｉｅｎｃｅ ｎｅ２０１５ Ｃｏ ｐ 　 　 一种Ｈａ 中基于作业类别和截止时间的调度算法 ｄｏｏ ｐ 李 曌 滕 飞 李天瑞 杨 浩 　 　 　 　 　 　 （ ） 西南交通大学信息与科学技术学院 成都 ００３１ ６１ 　 　 ， 。 摘 要 ａ 是一种开源可靠的分布式计算框架 而 是处理超大规模数据集的编程模型 鉴于 Ｈ ｄｏｏ Ｍａ Ｒｅｄｕｃｅ Ｈａ － 　 　 ｐ ｐ ， ｏ 内置的调度器不能很好地处理类别不同且有截止时间的作业的调度 提出了一种基于作业类别和截止时间的作 ｄｏｐ 。 ／ ， 。 ， 业调度算法 作业分为 ＣＰＵ 密集型和 ＩＯ 密集型 并根据截止时间设置优先级来实现作业的调度 实验结果表明 该算法在充分利用集群的 ／ ， ， ＣＰ 和磁盘 的同时 能满足作业的截止期需求 当同一时间段内截止时间相近时算法 Ｕ ＩＯ ， ， 。 达到最优 当某一队列中作业截止时间均比另一种队列短时 算法效率最低 ， ， ， ， 关键词 调度算法 截止时间 作业类别 Ｍａ ＲｅｄｕｃｅＨａｄｏｏ 　 ｐ ｐ 中图法分类号 文献标识码 ＤＯ ／ １３ ＴＰ３９９ Ａ Ｉ １０．１１８９６ ．ｉｓｓｎ．１００２ ７Ｘ．２０１５．６．００６