异构大数据编程环境Hadoop_何文婷解读.docx

异构大数据编程环境 Hadoop+ 何文婷1,2 崔慧敏1 冯晓兵1 1(中国科学院计算技术研究所 北京 100080) 2(中国科学院大学 北京 100049) 摘 要 互联网和物联网技术的飞速发展开启了“大数据”时代。目前，硬件的高速发展催生了许多 异构芯片，它们越来越多地出现在大规模数据中心里，支持不同的应用程序，在提升性能的同时降低 整体功耗。文章重点介绍了基于 MapReduce 编程模型的 Hadoop+ 框架的设计与实现，它允许用户在单 个任务中调用 CUDA/OpenCL 的并行实现，并能通过异构任务模型帮助用户。在我们的实验平台上， 五种常见机器学习算法使用 Hadoop+ 框架相对于 Hadoop 能达到 1.4×～16.1×的加速比，在 Hadoop+ 框架中使用异构任务模型指导其资源分配策略，对单个应用负载上最高达到 36.0% 的性能提升；对多 应用的混合负载，最多能减少 36.9%，平均 17.6% 的应用执行时间。 关键词 异构；数据中心；Hadoop+；MapReduce 中图分类号 TP 316.4 文献标志码 A Hadoop+: A Big-data Programming Framework for Heterogeneous Computing Environments HE Wenting1,2 CUI Huimin1 FENG Xiaobing1 1( Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100080, China ) 2( University of Chinese Academy of Sciences, Beijing 100049, China ) Abstract The rapid development of Internet and Internet of Things opens the era of big data. Currently, heterogeneous architectures are being widely adopted in large-scale datacenters, for the sake of performance improvement and reduction of energy consumption. This paper presents the design and implementation of Hadoop+, a programming framework that implements MapReduce and enables invocation of parallelized CUDA/OpenCL within a map/reduce task, and helps the user by taking advantage of a heterogeneous task model. Experimental result shows that Hadoop+ attains 1.4× to 16.1× speedups over Hadoop for five commonly used machine learning algorithms. Coupled with a heterogeneous task model that helps allocate computing resouces, Hadoop+ brings a 36.0% improvement in data processing speed for single-application workloads, and for mixed workloads of multiple applications, the execution time is reduced by up to 36.9% with an average 17.6%. 收稿日期：2015-12-27 修回日期：2016-03-02 基金项目：国家重点基础研究发展计划(973)(2011CB302504)；国家高技术研究发展计划(863)(2012AA010902、2015AA011505)；国家自然科 学基金6122106261432016 作者简介：何文婷，博士研究生，研究方向为并行计算和机器学习算法；崔慧敏(通讯作者)，副研究员，研究方向为并行编程和编译， E-mail：cuihm@；冯晓兵，博士生导师，研究方向为