MapReduce入门编程陆小马功钟浩.ppt

继承Mapper； 定义输入输出键值对类型； 实现setup、cleanup函数（不必须），setup函数在第一次运行，主要用于初始化；cleanup函数在最后一次运行，主要用于关闭资源等； 实现map函数，主要的逻辑处理程序，针对每条键值对记录执行一次； 1. 继承Reducer； 2. 定义输入输出键值对格式； 3. 实现setup、cleanup函数（不必须），setup函数在第一次运行，主要用于初始化；cleanup函数在最后一次运行，主要用于关闭资源等； 4. 实现reduce函数，主要的逻辑处理程序，针对所有键相同的值进行处理； * 此处实验耗时20分钟左右 1. 使用Eclipse建立MapReduce程序； 2. 编译打包java MR程序并上传到linux； 3. 执行Hadoop jar 命令； 4. 对比combiner的区别； 此处实验耗时20分钟左右 1. 使用Eclipse建立MapReduce程序； 2. 编译打包java MR程序并上传到linux； 3. 执行Hadoop jar 命令； 4. 对比combiner的区别； 此处实验耗时20分钟左右 1. 使用Eclipse建立MapReduce程序； 2. 编译打包java MR程序并上传到linux； 3. 执行Hadoop jar 命令； 4. 对比combiner的区别； 此处实验耗时20分钟左右 1. 使用Eclipse建立MapReduce程序； 2. 编译打包java MR程序并上传到linux； 3. 执行Hadoop jar 命令； 4. 对比combiner的区别； 单词计数源码分析Driver—流程 FileInputFormat Mapper Combiner Reducer Partitioner FileOutputFormat 单词计数源码分析Driver—键值对类型 Hadoop MapReduce– 单词计数源码分析Mapper Hadoop MapReduce– 单词计数源码分析Reducer 下载和安装Eclipse 1 2 MapReduce原理与编程 3 实践操作 目录 Hadoop MapReduce–—获取成绩表中最高分 打开eclipse，新建MapReduce工程； 参考上面单词计数代码编写程序； 使用eclipse的Export- JAR file工具打包成jar包，并运行； 查看输出结构：终端输出信息、Job任务监控、HDFS输出信息； Hadoop MapReduce–—获取成绩表中最高分 Mapper类 Hadoop MapReduce–—获取成绩表中最高分 Reducer类 Hadoop MapReduce–—获取成绩表中最高分 Driver类 PPT问题反馈： /tj/840.jhtml 在数据存储的位置 在数据存储的位置 在数据存储的位置 在数据存储的位置 在数据存储的位置 在数据存储的位置 在数据存储的位置 在数据存储的位置 * 在hadoop的 发行版中查看源码包 在hadoop的源码包中查看 此处实验耗时5分钟左右 1.注意数据直接使用单词计数的输出即可 此处实验耗时5分钟左右 1.注意数据直接使用单词计数的输出即可 此处实验耗时5分钟左右 1.注意数据直接使用单词计数的输出即可 此处实验耗时5分钟左右 1.注意数据直接使用单词计数的输出即可 在hadoop的 发行版中查看源码包 此处实验耗时5分钟左右 1.注意数据直接使用单词计数的输出即可 此处实验耗时5分钟左右 1.注意数据直接使用单词计数的输出即可 初始化相关配置； 新建Job，并设置主类； 设置Mapper、Reducer、Combiner； 设置输出键值对格式； 设置输入、输出文件格式以及路径； FileInputFormat 读取文件，把文件生成键值对 Mapper 针对键值对生成处理逻辑 Combiner 在map端合并部分键值对 Partitioner： 把键值对分组输送到Reducer； Reducer针对合并的键值对进行逻辑处理； FileOutput，把键值对写入到HDFS Combiner 和Partitioner放在后面讲 键值对类型一共有四个，分别对应输入输出； 加上Map端和reduce端的话，就需要设置八个； 但是实际只有四个，因为mapper的输出和reducer的输入的键值对类型是一致的 大数据，成就未来 * 大数据挖掘专家 * 大数据挖掘专家 * 大数据挖掘专家 大数据，成就未来 * 大数据挖掘专家 * 大数据挖掘专家 大数据，成就未来 Hadoop大数据开发基础 * 1 MapReduce原理与编程 目录 下载和安装Eclipse 2 实践操作