- 1、本文档共21页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
MapReduce:超大机群上的简单数据处理
MapReduce:超大机群上的简单数据处理摘要MapReduce是一个编程模型,和处理,产生大数据集的相关实现。用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集。然后再指定一个reduce函数合并所有的具有相同中间key的中间value。下面将列举许多可以用这个模型来表示的现实世界的工作。以这种方式写的程序能自动的在大规模的普通机器上实现并行化。这个运行时系统关心这些细节:分割输入数据,在机群上的调度,机器的错误处理,管理机器之间必要的通信。这样就可以让那些没有并行分布式处理系统经验的程序员利用大量分布式系统的资源。我们的MapReduce实现运行在规模可以灵活调整的由普通机器组成的机群上,一个典型的MapReduce计算处理几千台机器上的以TB计算的数据。程序员发现这个系统非常好用:已经实现了数以百计的MapReduce程序,每天在Google的机群上都有1000多个MapReduce程序在执行。介绍在过去的5年里,作者和Google的许多人已经实现了数以百计的为专门目的而写的计算来处理大量的原始数据,比如,爬行的文档,Web请求日志,等等。为了计算各种类型的派生数据,比如,倒排索引,Web文档的图结构的各种表示,每个主机上爬行的页面数量的概要,每天被请求数量最多的集合,等等。很多这样的计算在概念上很容易理解。然而,输入的数据量很大,并且只有计算被分布在成百上千的机器上才能在可以接受的时间内完成。怎样并行计算,分发数据,处理错误,所有这些问题综合在一起,使得原本很简介的计算,因为要大量的复杂代码来处理这些问题,而变得让人难以处理。作为对这个复杂性的回应,我们设计一个新的抽象模型,它让我们表示我们将要执行的简单计算,而隐藏并行化,容错,数据分布,负载均衡的那些杂乱的细节,在一个库里。我们的抽象模型的灵感来自Lisp和许多其他函数语言的map和reduce的原始表示。我们认识到我们的许多计算都包含这样的操作:在我们输入数据的逻辑记录上应用map操作,来计算出一个中间key/value对集,在所有具有相同key的value上应用reduce操作,来适当的合并派生的数据。功能模型的使用,再结合用户指定的map和reduce操作,让我们可以非常容易的实现大规模并行化计算,和使用再次执行作为初级机制来实现容错。这个工作的主要贡献是通过简单有力的接口来实现自动的并行化和大规模分布式计算,结合这个接口的实现来在大量普通的PC机上实现高性能计算。第二部分描述基本的编程模型,并且给一些例子。第三部分描述符合我们的基于集群的计算环境的MapReduce的接口的实现。第四部分描述我们觉得编程模型中一些有用的技巧。第五部分对于各种不同的任务,测量我们实现的性能。第六部分探究在Google内部使用MapReduce作为基础来重写我们的索引系统产品。第七部分讨论相关的,和未来的工作。编程模型计算利用一个输入key/value对集,来产生一个输出key/value对集。MapReduce库的用户用两个函数表达这个计算:map和reduce。用户自定义的map函数,接受一个输入对,然后产生一个中间key/value对集。MapReduce库把所有具有相同中间key I的中间value聚合在一起,然后把它们传递给reduce函数。用户自定义的reduce函数,接受一个中间key I和相关的一个value集。它合并这些value,形成一个比较小的value集。一般的,每次reduce调用只产生0或1个输出value。通过一个迭代器把中间value提供给用户自定义的reduce函数。这样可以使我们根据内存来控制value列表的大小。2.1 实例考虑这个问题:计算在一个大的文档集合中每个词出现的次数。用户将写和下面类似的伪代码:map(String key,String value): //key:文档的名字 //value:文档的内容for each word w in value: EmitIntermediate(w,1);reduce(String key,Iterator values)://key:一个词//values:一个计数列表int result=0;for each v in values:result+=ParseInt(v);Emit(AsString(resut));map函数产生每个词和这个词的出现次数(在这个简单的例子里就是1)。reduce函数把产生的每一个特定的词的计数加在一起。另外,用户用输入输出文件的名字和可选的调节参数来填充一个mapreduce规范对象。用户然后调用MapReduce函数,并把规范对象传递给它。用户的代码和MapReduce库链接在一起(用C++实现)。附录A
您可能关注的文档
- l物权法 2012-13下 第十一章 共有.ppt
- lzh2-汇交力系ppt-2012.ppt
- lzh10-剪切.ppt
- l裂缝防治标准(1-2).pptx
- M12.其它含氧盐.ppt
- M2M技术基础ppt2.ppt
- M4 Unit 3修正版.ppt
- M7路边坡施工方案.doc
- M7 工艺过程与夹具.ppt
- manB&W6L50MC主机管理要点.doc
- 七章货物的保险.pptx
- 三章国际间接投资.pptx
- 人性假设理论.pptx
- 外研高一英语必修三ModuleIntroduction汇总市公开课获奖课件省名师示范课获奖课件.pptx
- 月相成因优质获奖课件.pptx
- 小学二年级语文课件《狐假虎威》省名师优质课赛课获奖课件市赛课一等奖课件.pptx
- 养羊业概况专题知识讲座.pptx
- 微生物的实验室培养市公开课获奖课件省名师示范课获奖课件.pptx
- 人教版六年级下册式与方程整理与复习市公开课获奖课件省名师示范课获奖课件.pptx
- 必威体育精装版高中精品语文教学:第二单元-第7课-诗三首:涉江采芙蓉、-短歌行、归园田居市公开课获奖课件省名师.pptx
最近下载
- 临沂市蒙阴县蒙阴街道社区工作者考试试题汇总2024.docx VIP
- 青少年足球赛竞赛规程 (2).docx
- 丰富的数据世界课件北师大版七年级数学上册.pptx VIP
- 2022《新教材下“情境-问题”教学法在小学数学课堂中的应用研究》开题报告(含提纲)8300字.doc
- GWD阅读套题(中英文对照版).pdf
- 煤矿安全生产标准化讲座.pptx VIP
- 一种变电站的二次设备清扫装置.pdf VIP
- 2024届中考语文真题第一轮专项复习—答题技巧19(描绘画面类题型)含解析.pdf
- 结核性脑膜炎病人护理查房ppt课件.pptx
- 《微机原理与接口技术》北京交通大学课程思政优秀案例2022.docx
文档评论(0)