Hadoop使用.pptVIP

Hadoop使用 聂志 niezhixuesen@163.com outline 云计算概念 Hadoop使用 Mapreduce详解 1云计算概念 概念 狭义云计算是指IT基础设施的交付和使用模式，通过网络以按需、易扩展的方式获得所需的资源（硬件、平台、软件）。 广义云计算是指服务的交付和使用模式，通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。 三层模型 Saas：more Paas：hadoop Iaas： openstack * google vs hadoop Google calls it: Hadoop equivalent: MapReduce Hadoop GFS HDFS Bigtable HBase Chubby Zookeeper 2 Hadoop使用 编写map和reduce函数 运行测试 命令行运行 eclipse运行 查看结果 * map public static class TokenizerMapper extends MapperObject, Text, Text, IntWritable{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); //设置 key value } } } 说明： map的输出key 、value和reduce的输入key、value要一致，见上面红色部分 reduce public static class IntSumReducer extends ReducerText,IntWritable,Text,IntWritable { private IntWritable result = new IntWritable(); public void reduce(Text key, IterableIntWritable values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); //聚集操作 } result.set(sum); context.write(key, result); } } 说明： map的输出key 、value和reduce的输入key、value要一致，见上面红色部分 * Job 配置 public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println(Usage: wordcount in out); System.exit(2); } Job job = new Job(conf, word count); //job name job.setJarByClas