- 1、本文档共6页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
基于节点性能的Hadoop作业调度算法改进.PDF
第34卷第5期 计算机应用与软件 Vol34No.5
2017年5月 ComputerApplicationsandSoftware May201
7
基于节点性能的Hadoop作业调度算法改进
冯兴杰 贺 阳
(中国民航大学计算机科学与技术学院 天津300300)
摘 要 由于构成数据中心的计算设备一般都存在性能上的差异,但是Hadoop调度算法没有考虑不同节点的
性能差异,导致节点间出现“忙闲不均”的现象,影响作业的执行效率。针对如上问题,在系统分析Hadoop资源
管理机制(Yarn)源代码的基础上,提出了节点性能评价指标,综合考虑节点的硬件配置参数和运行过程中的动态
性能指标。在此基础上对FairScheduler调度算法进行改进,实现了基于节点性能的任务分配,整体上提高了所
有节点的利用率。在Hadoop集群上的实验表明,所提出的节点性能评价指标和对FairScheduler调度算法的改
进,有效解决了节点的负载均衡问题,整体上提高了作业执行效率。
关键词 大数据 Hadoop Yarn 负载均衡 FairScheduler算法
中图分类号 TP302.7 文献标识码 A DOI:10.3969/j.issn.1000386x.2017.05.039
IMPROVEMENTOFSCHEDULINGALGORITHMONHADOOPBASED
ONNODEPERFORMANCE
FengXingjie HeYang
(SchoolofComputerScienceandTechnology,CivilAviationUniversityofChina,Tianjin300300,China)
Abstract Becausethecomputingdevicesthatmakeupthedatacentergenerallyhavedifferentperformance,Hadoop
schedulingalgorithmdoesnotconsidertheperformancedifferenceofdifferentnodes,resultinginthephenomenonof
“busyandidleinhomogeneous”betweennodes,affectingtheefficiencyofjobexecution.Inviewoftheaboveproblem,
basedontheanalysisofthesourcecodeofHadoopresourcemanagementmechanism(Yarn),thenodeperformance
evaluationindexisproposed.Consideringthehardwareconfigurationparametersandthedynamicperformanceindexes,
theFairSchedulerschedulingalgorithmisimproved,andthetaskallocationbasedonnodeperformanceisrealized,and
theutilizationrateofallthenodesisimprovedasawhole.TheexperimentsonHadoopclustershowthattheproposed
nodeperformanceevaluationindexandtheimprovementofFairSchedulerschedulingalgorithmeffectivelysolvethe
problemofnodeloadbalancingandimprovetheefficiencyofjobexecutionasawhole.
Keywords Bigdata Hadoop Yarn Loadbalancing FairScheduleralgo
您可能关注的文档
- 地铁义工爱心随行.PDF
- 坚决遏制交通事故频发高发态势.PDF
- 坚守底线瞄准高端追求品质.PDF
- 坚持节约集约统筹保障保护遏制违法势头提升管理能力.PDF
- 垃圾可变宝.PDF
- 城口县电子商务进农村综合示范项目建设进度表(4月).doc
- 城巴及新巴学校路线於农曆新年期间暂停服务.PDF
- 城市出租汽车驾驶专业知识试题.doc
- 城市出租车运营网络平衡模型.pdf
- 城市地下车库一氧化碳浓度在线检测系统方案.pptx
- 云南省楚雄市重点中学2025届高三冲刺模拟历史试卷含解析.doc
- 2025届吉林省汪清六中高考化学押题试卷含解析.doc
- 山东省济南市2025届高三第一次模拟考试生物试卷含解析.doc
- 河北省唐山丰南区二中2025届高考生物押题试卷含解析.doc
- 湖南省张家界市2025届高考适应性考试生物试卷含解析.doc
- 北京市徐悲鸿中学2025届高三第六次模拟考试历史试卷含解析.doc
- 江苏省田家炳中学2025届高三一诊考试历史试卷含解析.doc
- 广东省增城市第一中学2025届高三第二次模拟考试生物试卷含解析.doc
- 江苏省苏州市吴江区震泽中学2025届高三冲刺模拟生物试卷含解析.doc
- 江苏省南京市玄武高级中学2025届高三考前热身历史试卷含解析.doc
文档评论(0)