Chapter7-厦门大学-林子雨-大数据技术原理与应用-第七章-MapReduce(2016年3月30日版本)讲述.ppt

7.6.3 编写Reduce处理逻辑 在Reduce处理数据之前，Map的结果首先通过Shuffle阶段进行整理 Reduce阶段的任务：对输入数字序列进行求和 Reduce的输入数据为key,Iterable容器 Reduce任务的输入数据： ”I”,1,1 ”is”,1 …… ”from”,1 ”China”,1,1,1 public static class MyReducer extends ReducerText,IntWritable,Text,IntWritable{ private IntWritable result = new IntWritable(); public void reduce(Text key, IterableIntWritable values, Context context) throws IOException,InterruptedException{ int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key,result); } } 7.6.3 编写Reduce处理逻辑 7.6.4 编写main方法 public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); //程序运行时参数 String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println(Usage: wordcount in out); System.exit(2); } Job job = new Job(conf,word count); //设置环境参数 job.setJarByClass(WordCount.class); //设置整个程序的类名 job.setMapperClass(MyMapper.class); //添加MyMapper类 job.setReducerClass(MyReducer.class); //添加MyReducer类 job.setOutputKeyClass(Text.class); //设置输出类型 job.setOutputValueClass(IntWritable.class); //设置输出类型 FileInputFormat.addInputPath(job,new Path(otherArgs[0])); //设置输入文件 FileOutputFormat.setOutputPath(job,new Path(otherArgs[1])); //设置输出文件 System.exit(job.waitForCompletion(true)?0:1); } import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import