《海量数据挖掘-王永利》视频公开课大数据技术.pptVIP

MapReduce中的Map和Reduce操作的抽象描述 reduce: (k2; [v2]) ? [(k3; v3)] 输入： 由map输出的一组键值对[(k2; v2)] 将被进行合并处理将同样主键下的不同数值合并到一个列表[v2]中，故reduce的输入为(k2; [v2]) 处理：对传入的中间结果列表数据进行某种整理或进一步的处理,并产生最终的某种形式的结果输出[(k3; v3)] 。 输出：最终输出结果[(k3; v3)] Map和Reduce为程序员提供了一个清晰的操作接口抽象描述 基于Map和Reduce的并行计算模型 海量数据存储 …… 数据划分 Map Map Map Map 初始kv 键值对 初始kv 键值对 初始kv 键值对 初始kv 键值对 中 间 结 果 (k1,val) (k2,val) (k3,val) (k1,val) (k3,val) (k2,val) (k3,val) (k1,val) (k2,val) (k3,val) Barrier：Aggregation and Shuffle Reduce Reduce Reduce (k1,values) (k2,values) (k3,values) 计算结果 (K1,val) (K2,val) (K3,val) 基于Map和Reduce的并行计算模型 各个map函数对所划分的数据并行处理，从不同的输入数据产生不同的中间结果输出 各个reduce也各自并行计算，各自负责处理不同的中间结果数据集合 进行reduce处理之前,必须等到所有的map函数做完，因此,在进入reduce前需要有一个同步障(barrier);这个阶段也负责对map的中间结果数据进行收集整理(aggregation shuffle)处理,以便reduce更有效地计算最终结果 最终汇总所有reduce的输出结果即可获得最终结果 基于MapReduce的处理过程示例--文档词频统计：WordCount 设有4组原始文本数据： Text 1: the weather is good Text 2: today is good Text 3: good weather is good Text 4: today has good weather 传统的串行处理方式(Java)： String[] text = new String[] { “hello world”, “hello every one”, “say hello to everyone in the world” ｝; HashTable ht = new HashTable(); for(i=0; i3; ++i) { StringTokenizer st = new StringTokenizer(text[i]); while (st.hasMoreTokens()) { String word = st.nextToken(); if(!ht.containsKey(word)) { ht.put(word, new Integer(1)); } else { int wc = ((Integer)ht.get(word)).intValue() +1;// 计数加1 ht.put(word, new Integer(wc)); } } } for (Iterator itr=ht.KeySet().iterator(); itr.hasNext(); ) { String word = (String)itr.next(); System.out.print(word+ “: ”+ (Integer)ht.get(word)+“; ”); } 输出： good: 5; has: 1; is: 3; the: 1; today: 2; weather: 3 基于MapReduce的处理过程示例--文档词频统计：WordCount MapReduce处理方式 使用4个map节点： map节点1: 输入：(text1, “the weather is good”) 输出：(the, 1), (weather, 1), (is, 1), (good, 1) map节点2: 输入：(text2, “today is good”) 输出：(today, 1), (is, 1), (good, 1) map节点3: 输入：(te