大数据处理技术概述.pptx

大数据处理技术 科信办 刘伟 2014年4月 ;第一节 Mapreduce编程模型 第二节 hadoop HDFS原理 第三节 nosql之hbase;第一节 Mapreduce编程模型 1.技术背景 2. mapreduce的概念 3.mapreduce的编程模型原理 4mapreduce工作流程 5.mapreduce的局限; 1.技术背景： 分布式并行计算是大数据（pb）处理的有效方法，编写正确高效的大规模并行分布式程序是计算机工程领域的难题。 并行计算的模型、计算任务分发、计算机结果合并、计算节点的通讯、计算节点的负载均衡、计算机节点容错处理、节点文件的管理等方面都要考虑。; 为了解决上述复杂的问题，谷歌设计一个新的抽象模型，使用这个抽象模型，普通程序员只要表述他们想要执行的简单运算即可，而不必关心并行计算、容错、 数据分布、负载均衡等复杂的细节，这些问题都被封装了，交个了后台程序来处理。这个模型就是mapreduce。 谷歌2004年公布的mapreduce编程模型，在工业界、学术界产生巨大影响，以至于谈大数据必谈mapreduce。; 工业界试图做的事情就是要实现一个能够媲美或者比Google mapreduce更好的系统，多年的努力下来，Hadoop（开源）脱颖而出，成为外界实现MapReduce计算模型事实上的标准，围绕着Hadoop，已经形成了一个庞大的生态系统。; 2. mapreduce的概念： MapReduce是一个编程模型，一个处理和生成超大数据集的算法模型的相关实现。简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。 mapreduce成功的最大因素是它简单的编程模型。程序员只要按照这个框架的要求，设计map和reduce函数，剩下的工作，如分布式存储、节点调度、负载均衡、节点通讯、容错处理和故障恢复都由mapreduce框架（比如hadoop）自动完成，设计的程序有很高的扩展性。; 3. mapreduce的编程模型原理： 开发人员用两个函数表达这个计算：Map和Reduce。 即：(input)k1, v1 ==== map(k1,v1) -list(k2,v2) ===?combine--- k2, v2[List] =?reduce(k2,list(v2)) -list(v2)??(output);单词统计;单词统计?map(String key, String value):??? // key: document name??? // value: document contents??? for each word w in value:??????? EmitIntermediate(w, “1″); reduce(String key, Iterator values):??? // key: a word??? // values: a list of counts??? int result = 0;??? for each v in values:??????? result += ParseInt(v);??? Emit(AsString(result));; 一共分为map（分解） shuffle（洗牌） reduce（归并）三个阶段。map阶段，每个节点调用程序员编写的map函数，作用于每一个在此节点存放的键值对，map函数的输出同样是一些键值对，中间结果进入shuffle阶段，shuffle系统自动完成，程序员无须也无法控制，shuffle阶段会把所有中间结果里的键相同的所有键-值对通过网络传递给同一个目标节点。在最后的reduce阶段，每个节点会对所有键相同的键值对调用程序员编写的reduce函数，输出最终结果。;4. mapreduce工作流程;Map阶段：数据经过分片化成M个数据集，每个数据集由一个maper节点经过map函数处理成key-value对形式的数据集。 Shuffle阶段：map输出的结果放在maper节点本地内存缓存区，缓存区先按照key进行分区（如果有R个reducer，hash（key） mod R分成R个分区，初步划分）、分区内对key排序（排序后可附加combiner合并操作，减少写磁盘数据量），缓冲区快要溢出时，溢写文件，多个溢写文件合并，合并过程再次排序（排序后可附加combiner合并操作），最后形成一个已经分区的、已经排序（对key的排序）的文件。 Reduce端会把属于本区的数据取（fetch）到内存，进行合并，合并过程再次排序，缓冲区快要溢出时，