SingleMapReduce编程模型.pdf

( 学版) 华南理工大学学报 自然科 42 5 Journal of South China University of Technology Vol． 42 No． 5 第 卷第 期 2014 5 (Natural Science Edition) May 2014 年 月 文章编号:1000-565X (2014)05-0135-08 SingleMapＲeduce : 出HDFS 文件的MapＲeduce 单一输 编程模型* 陈吉荣 乐嘉锦 ( ， 201620) 东华大学计算机科学与技术学院 上海 : MapＲeduce Hadoop 摘 要 经典 编程模型的输出结果不是单一的 分布式文件系统 (HDFS) ， ， MapＲeduce :SingleMapＲeduce． 文件 为此 文中提出了单一输出文件的 编程模型 Job Successful ， “ ” ． 该模型通过拦截 状态 将输出目录下的所有文件 整合 为单一文件 文中 HDFS 4 ， HDFS “ ” “ ” 给出了 的 个重要特征 提出了 的 块典型分布 和 块非典型分布 的概 ， ． : 念 设计了一种通过整合元数据来达到整合文件的算法 理论分析和实验结果表明 该模 MapＲeduce ; MapＲeduce 型的 计算的输出结果为单一文件 该模型可以再次以文件的形式对 ， HDFS ; 计算的输出结果进行分片 并可用并行方式导入大表或大文件到 中 该模型间接支 持了名称节点的扩展性． : ; ;MapＲeduce ;Hadoop ; ; 关键词 分布式计算系统 元数据 分布式文件系统 名称节点 数 ; 据节点 块 中图分类号:TP311 doi :10． 3969 /j． issn． 1000-565X． 2014． 05． 021 经典MapＲeduce 编程模型［1-3］ ． 的执行流程可描 应用的计算效率 ③对导入其他文件系统或数据库