hadoop平台中mapreduce调度算法研究.pdf

第32卷第5期 计算机应用与软件 V01．32 No．5 2015年5月 ComputerApplicationsandSoftware Md．v 2015 Hadoop平台中MapReduce调度算法研究 徐焕良 翟 璐 薛 卫 任守纲 (南京农业大学信息科技学院 江苏 南京 210095) 摘 要 MapReduce是一种新型的并行计算框架，在计算速度 ，容错性，可靠性等方面具有优势，因此得到了广泛的商业应用与科 学研究。而调度算法作为MapReduce的核心组成部分，它的优劣成为了直接影响MapReduce性能的关键 因素，因而得到 了很大的 关注。在介绍和分析MapReduce并行计算模型的基础上，介绍了几种相关的模型改进，并基于Hadoop平 台，重点研究了MapReduce 的常用调度算法及改进算法。通过对比分析，就 MapReduce未来 的发展进行 了进一步的探讨，为其调度算法的改进提供有效的 方法。 关键词 云计算 并行计算模型 Hadoop MapReduce 调度算法 中图分类号 TP393 文献标识码 A DOI：10．3969／j．issn．1000-386x．2015．05．001 RESEARCH oN MAPREDUCE SCHEDULING ALGoRITHM oN HADooP PLATFoRM XuHuanliang ZhaiLu XueW ei RenShougang (CollegeofInformationScienceandTechnology，NanjingAgriculturalUniversity，Nanilng210095，Jiangsu，China) Abstract MapReduceisanew parallelcomputing~ameworkwhichhaslotsofadvantagesinmanyaspects，suchascomputingspeed， faulttoleranceandreliability，SOithasbeenwidelyusedinbusinessapplicationsandscientificresearch．Theadvantagesanddisadvantagesof theschedulingalgorithm，asthecorecomponentofMapReduce，haveattractedalotofattentionbecausetheydirectlyaffecttheperformance ofMapReduce．AfterintroducingandanalysingtheMapReduceparallelcomputingmodel，wepresentseveralrelatedimprovedmodels，and onHadoop—basedplatfomr weputthefocusonstudyingcommonMapReduceschedulingalgorithm anditsimprovedalgorithm．Bycomparative analysis，wefurtherinvestigatethefuturedevelopmentofMapReduceschedulingalgorithm andprovideaneffectivewaytoimproveit． Keywords Cloudcomputing Parallelcomputingmodel Hadoop MapReduce Schedulingalgorithm 作为早期云平台的代表，Google以论文的形式向世界介绍 0 引 言 了其云平台的核心组成部分——负责海量数据存储的GFS文 件管理系统 与负责进行数据运算的MapReduceI1