MapReduce经典例子WordCount运行详解.docVIP

创建时间：2012/3/1 修改时间：2017/3/1 修改次数：0 Hadoop MapReduce经典例子 ——WordCount 运行详解 1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce 采用“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点 管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地 说，MapReduce 就是“任务的分解与结果的汇总”。 在 Hadoop 中，用于执行 MapReduce 任务的机器角色有两个：一个是 JobTracker；另一 个是 TaskTracker，JobTracker 是用于调度工作的，TaskTracker 是用于执行工作的。一个 Hadoop 集群中只有一台 JobTracker。 在分布式计算中，MapReduce 框架负责处理了并行编程中分布式存储、工作调度、负 载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处理过程高度抽象为两个函数： map 和 reduce，map 负责把任务分解成多个任务，reduce 负责把分解后多任务处理的结果汇 总起来。 需要注意的是，用 MapReduce 来处理的数据集（或任务）必须具备这样的特点：待处 理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。 1.2 MapReduce处理过程 在 Hadoop 中，每个 MapReduce 任务都被初始化为一个 Job，每个 Job 又可以分为两种 阶段：map 阶段和 reduce 阶段。这两个阶段分别用两个函数表示，即 map 函数和 reduce 函 数。map 函数接收一个key,value形式的输入，然后同样产生一个key,value形式的中间输 出，Hadoop 函数接收一个如key,(list of values)形式的输入，然后对这个 value 集合进行处 理，每个 reduce 产生 0 或 1 个输出，reduce 的输出也是key,value形式的。 MapReduce 处理大数据集的过程 1 创建时间：2012/3/1 修改时间：2017/3/1 修改次数：0 2、运行WordCount程序 单词计数是最简单也是最能体现 MapReduce 思想的程序之一，可以称为 MapReduce 版 “Hello World”，该程序的完整代码可以在 Hadoop 安装包的“src/examples”目录下找到。 单词计数主要完成功能是：统计一系列文本文件中每个单词出现的次数，如下图所示。 2.1 准备工作 现在以“hadoop”普通用户登录“Master.Hadoop”服务器。 1）创建本地示例文件 首先在“/home/hadoop”目录下创建文件夹“file”。 接着创建两个文本文件 file1.txt 和 file2.txt， file1.txt 内容为使“Hello World” 而 file2.txt， 的内容为“Hello Hadoop”。 2 创建时间2012/3/1 修改时间：2017/3/1 修改次数：0 2）在 HDFS 上创建输入文件夹 3）上传本地 file 中文件到集群的 input 目录下 2.2 运行例子 1）在集群上运行 WordCount 程序 备注：以 input 作为输入目录，output 目录作为输出目录。 已经编译好的 WordCount 的 Jar 在“/usr/hadoop”下面， “hadoop-examples-1.0.0.jar”就是， 所以在下面执行命令时记得把路径写全了，不然会提示找不到该 Jar 包。 2）MapReduce 执行过程显示信息 Hadoop 命令会启动一个 JVM 来运行这个 MapReduce 程序，并自动获得 Hadoop 的配置， 同时把类的路径（及其依赖关系）加入到 Hadoop 的库中。以上就是 Hadoop Job 的运行记录， 从这里可以看到，这个 Job 被赋予了一个 ID 号：job_201202292213_0002，而且得知输入文 件有两个（Total input paths to process : 2），同时还可以了解 map 的输入输出记录（record 数 及字节数），以及 reduce 输入输出记录。比如说，在本例中，map 的 task 数量是 2 个，reduce 3 创建时间：2012/3/1 修改时间：2012/3/1 修改次数：0 的 task 数量是一个。map 的输入 record 数是 2 个，输出 record 数是 4 个等信息。 2.3 查看结果 1）查看 HDFS 上 output 目录内容 从