一种Hadoop中基于作业类别和截止时间的调度算法.pdf

第42卷第6期 计算机科学 V01．42No．6 2015年6月 Science 2015 Computer June 一种Hadoop中基于作业类别和截止时间的调度算法 李望滕飞李天瑞杨浩 (西南交通大学信息与科学技术学院 成都610031) doop内置的调度器不能很好地处理类别不同且有截止时间的作业的调度，提出了一种基于作业类别和截止时间的作 业调度算法。作业分为CPU密集型和I／O密集型，并根据截止时间设置优先级来实现作业的调度。实验结果表明， 该算法在充分利用集群的CPU和磁盘I／0的同时，能满足作业的截止期需求，当同一时间段内截止时间相近时算法 达到最优，当某一队列中作业截止时间均比另一种队列短时，算法效率最低。 关键词调度算法，截止时间，作业类别，MapReduce，Hadoop 中图法分类号TP399文献标识码A DOI 2015．6．006 10．11896／j．issn．1002—137X Scheduler Basedon andDeadlinein AlgorithmTypeSpecific Hadoop I。IZhaoTENGFeiL1Tian-ruiYANGHao (SchoolofInformationScienceand 610031，China) Technology，SouthwestJiaotongUniversity，Chengdu Abstract softwareforreliable，scalable，distributedisa Hadoopdevelopsopen-source computing．MapReduceprogram— modelandanassociated for datasets．Becausethebuilt—in schedulercan— ming implementationprocessinglarge Hadoop nothandlethedifferentanddeadlinebased ascheduler basedon and type jobs，weproposed algorithm typespecific deadline．Wethese intoCPU-boundand and to tothedeadline． I／O-bound specifiedjobs gavepriorityjobsaccording Theresultsof showthatthe not makesfulluseofthecluster’SCPUand re— experiments proposedalgorithmonly I／O source，butalsomeetsthejobs’deadline．IfthedeadlineiSalmostthesameata oftime，the iSthe