- 1、本文档共45页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
MapReduce精讲
大数据课程之
大数据课程之MapReduce(1)
MapReduce(1)
——培训讲师:吴超
课程安排
MapReduce原理***
MapReduce执行过程***
数据类型与格式***
Writable接口与序列化机制***
加深拓
MapReduce的执行过程源码分析
什么是MapReduce
你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数
出有多少张是黑桃。
MapReduce方法则是:
1. 给在座的所有玩家中分配这摞牌
2. 让每个玩家数自己手中的牌有几张是黑桃,然后把这个数目汇报
给你
3. 你把所有玩家告诉你的数字加起来,得到最后的结论
MapReduce概述
◆MapReduce是一种分布式计算模型,由Google提出,主要用于有哪些信誉好的足球投注网站领域,解决海量
数据的计算问题.
MapReduce合并了两种经典函数:
映射(Mapping)对集合里的每个目标应用同一个操作。即,如果你想把表单里每个
单元格乘以二,那么把这个函数单独地应用在每个单元格上的操作就属于mapping。
化简(Reducing )遍历集合中的元素来返回一个综合的结果。即,输出表单里一列数
字的和这个任务属于reducing。
◆MapReduce由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两
个函数,即可实现分布式计算,非常简单。
◆这两个函数的形参是key、value对,表示函数的输入信息。
MapReduce在多于10PB数据时趋向于变慢。
Mapreduce原理
◆执行步骤:
1. map任务处理
1.1 读取输入文件内容,解析成key、value对。对输入文件的每一行,解析成key、
value对。每一个键值对调用一次map函数。
1.2 写自己的逻辑,对输入的key、value处理,转换成新的key、value输出。
1.3 对输出的key、value进行分区。
1.4 对不同分区的数据,按照key进行排序、分组。相同key的value放到一个集合
中。
1.5 (可选)分组后的数据进行归约。
2.reduce任务处理
2.1 对多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节
点。
2.2 对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑,对输入
的key、values处理,转换成新的key、value输出。
2.3 把reduce的输出保存到文件中。
例子:实现WordCountApp
map 、reduce键值对格式
函数 输入键值对 输出键值对
map() k1,v1 k2,v2
reduce() k2,{v2} k3,v3
WordCountApp 的驱动代码
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration(); //加载配置文件
Job job = new Job(conf); //创建一个job ,供JobTracker使用
job.setJarByClass(WordCountApp.class);
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);
FileInputFormat.setInputPaths(job, new Path(hdfs://0:9000/input));
FileOutputFormat.setOutputPath(job, new Path(hdfs://0:9000/output));
job.setOutputKeyClass(Text.class);
job.setOutputValue
文档评论(0)