Hadoop性能优化研究.pdfVIP

第 35卷 ／第 6期 ／ 河北师范大学学报 ／自然 学版 ／ V0}．35NO．6 2O11年 I1月 JOURNALOFHEBElNORMALUNIVE只SlTY／NaturaIScienceEdition／ NOV．2011 Hadoop性能优化研究 柳 香， 李瑞台， 李俊红， 段胜业 (河jE师范大学 数学与信息科学学院，河北 石家庄 050016) 摘 要 ：优化 Hadoop的性能可大大提高MapReduce的工作效率 ，缩短任务执行时间，增加分布式计算 的吞吐 量．Hadoop的执行性能受到多种配置属性的影响 ，不同配置属性 问也存在相互制约关系．基于遗传算法 ，对配置方 案不断选择、交叉、变异，多次迭代后产生近似最优配置方案．实验结果表明该配置方案能够有效提高系统性能，并 且具有稳定性和适用性 ． 关键词：Hadoop；遗传算法 ；性能优化；配置方案 中图分类号：TP302 文献标识码 ：A 文章编号：1000．5854(2011)06—0567—04 ResearchonPerformanceOptimizationofHadoop LIU Xiang， IIRuitai， LIJunhong， DUAN Shengye (CollegeofMathematicsandInformationSciences，HebeiNormalUniversity，HebeiShijiazhuang 050016，China) Abstract：OptimizingtheperformanceofHadoopcangreatly improvetheefficiencyofMapReduce，reduce theexecutiontimeoftasksandincreasethethroughputofdistributedcomputing．Theimplementationperfor— manceofHadoopisimpactedbya1istofconfigurationpropertieswhichareinterdependent．Basedongenetical· gorithm ，theconfiguration schemesareupdatedbyconstantly selection，crossover，mutation，thenapproximate optimalconfigurationschemeisproducedafterseveraliterations．Experimentalresultsshow thatthisconfigura— tionschemecaneffectivelyimprovetheoverallperformanceOfsystem andhasstabilityandapplicability． Keywords：Hadoop；geneticalgorithm；performanceoptimization；configurationscheme Hadoop作为一种分布式计算框架 ，在 web有哪些信誉好的足球投注网站、数据挖掘以及科学计算等大规模数据处理方面得到广 泛应用 ．Hadoop主要 由HDFS分布式文件系统和 MapReduce分布式计算模型组成．HDFS由数据服务器集 群组成，通过故障检测和快速恢复为Hadoop分布式计算框架提供安全可靠的底层存储支持．MapReduce依 赖于HDFS，通常将作业 的输入数据分成许多小块，并均匀分布到HDFS上的不同机器上，HDFS通过冗余 复制保证系统的可靠性．MapReduce的输入和输 出数据都以键值对形式存在，Map函数负责将对输入键值 对进行处理并得到中间键值对 ，Reduce函数对 中间键值对进行汇总并得到最终结果．HDFS和MapReduce 的相互配合实现了透明的分布式计算和存储 【1J． 目前 Hadoop性能提高的方法主要是从数据局部性 、集群异构性和凋度策略、Qos需求等方面对 Hadoop 的架构进行改进 ，一定程度上提高了Hadoop的性能，但这些方法需要修改内核，实现较复杂