python课件-第11章 大数据处理.ppt

MapReduce：分布式计算框架，可以将单个计算作业分配给多台计算机执行，可以在短时间内完成大量工作，尤其适合数值型和标称型数据，但需要对行业领域具有一定理解后重写算法来完成特定的业务处理要求。 MapReduce的名字由函数式编程中常用的map和reduce两个单词组成。 MapReduce在大量节点组成的集群上运行，工作流程是：单个作业被分成很多小份，输入数据也被切片分发到每个节点，每个节点只在本地数据上做运算，对应的运算代码成为mapper，这个过程即map阶段；每个mapper的输出通过某种方式组合，根据需要可能还进行排序，排序后的结果再被分成小份分发到各个节点进行下一步处理，这被成为reduce阶段，对应的代码成为reducer。 不同类型的作业可能需要不同数量的reducer，并且，在任何时候，每个mapper或reducer之间都不进行通信，每个节点只处理自己的事务，且在本地分配的数据集上运算。 Hadoop：MapReduce框架的一个免费开源实现，采用Java语言编写，支持在大量机器上分布式处理数据。除了分布式计算之外，Hadoop还自带分布式文件系统，可以运行多种不同语言编写的分布式程序。Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。 Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。Spark是hadoop的升级版本，兼容Hadoop的APi，能够读写Hadoop的HDFS HBASE 顺序文件等。 Hadoop作为第一代产品使用HDFS，第二代加入了Cache来保存中间计算结果，并能适时主动推Map/Reduce任务，第三代就是Spark倡导的流Streaming。 首先对大数据进行分割，划分为一定大小的数据，然后将分割的数据交给多个Map函数进行处理，Map函数处理后将产生一组规模较小的数据，多个规模较小的数据再提交给reduce函数进行处理，得到一个更小规模的数据或直接结果。 例：Windows系统的升级日志文件一般较大，现要求统计一下日志文件中不同日期有关的记录条数。 1）大文件切分：code\FileSplit.py 2）Map代码：code\Map.py 3）Reduce代码：code\Reduce.py 不同的处理要求需要不同的Map和Reduce函数。 Hadoop_Map.py import os import re import time def Map(sourceFile): if not os.path.exists(sourceFile): print(sourceFile, does not exist.) return pattern = pile(r[0-9]{1,2}/[0-9]{1,2}/[0-9]{4}) result = {} with open(sourceFile, r) as srcFile: for dataLine in srcFile: r = pattern.findall(dataLine) if r: print(r[0], ,, 1) #将中间结果输出到标准控制台 Map(test.txt) Hadoop_Reduce.py import os import sys def Reduce(targetFile): result = {} for line in sys.stdin: #从标准控制台中获取中间结果数据 riqi, shuliang = line.strip().split(,) result[riqi] = result.get(riqi, 0)+1 with open(targetFile, w) as fp: for k,v in result.items(): fp.write(k + : + str(v) + \n) Reduce(result.txt) 在命令提示符环境执行下面的命令 python Hadoop_map.py test.txt|python Hadoop_Reduce.py Spark是一个开源的、通用的并行计算与分布式计算框架，其活跃度在Apache基金会所有开源项目中排第三位，最大特点是基于内存计算，适合迭代计算，兼容多种应用场景，同时还兼容Hadoop生态系统中的组件，并且具有非常