mapreduce通过map映射和reduce化简-云计算论坛.ppt

LANZHOU UNIVERSITY HIGH PERFORMANCE COMPUTING LAB * LANZHOU UNIVERSITY HIGH PERFORMANCE 云计算：编程模型与信息交互机制 梁 昊 鸣 摘 要 云计算作为一种全新的互联网应用模式，将成为未来人们获取服务和信息的主导方式。本文介绍了云计算的含义和应用场景，从目前云计算的技术特征出发，提出了云计算的六大技术优势；并结合当前使用的云计算系统，分析了目前大部分云计算采用的编程模型和任务调度模型（MapReduce）。通过实例，讲解了编程模型的流程和此模型的改进方向，以“云”间各服务、资源通过云交换域进行交互的过程；讲解云计算上，社会网络如何通过改变服务负荷，提高云计算的Qos；最后展望了云计算未来发展前景。 概 要 云计算包含两个方面的含义： 一方面描述了基础设施,用来构造应用程序,其地位相当于PC机上的操作系统； 另一方面描述了建立在这种基础设施之上的云计算应用。 云计算的特征 云计算系统提供的是服务 用冗余方式提供可靠性 高可用性 高层次的编程模型 经济性 服务的多样性 云计算的编程模型 云计算大部分采用MapReduce分布式系统的编程。应用程序编写人员只需将精力放在应用程序本身，而关于集群的处理问题，包括可靠性和可扩展性，则交由平台来处理。MapReduce通过“Map(映射)”和“Reduce(化简)”这样两个简单的概念来构成运算基本单元，用户只需提供自己的Map函数以及Reduce函数即可并行处理海量数据。 MapReduuce执行过程 基于 MapReduce 框架的单词统计程序 mapper (filename, file-contents): for each word in file-contents: ??? emit (word, 1) reducer (word, values): sum = 0 for each value in values: sum = sum + value emit (word, sum) 云系统间的信息交互机制 云计算系统的发展前景 云计算未来主要有两个发展方向： 一个是构建与应用程序紧密结合的大规模底层基础设施，使得应用能够扩展到很大的规模； 另一个是通过构建新型的云计算应用程序，在网络上提供更加丰富的用户体验。 不当之处请各位专家批评指正 谢 谢 大 家！ 尊敬的各位专家,下午好.很高兴能为大家介绍一下自己在云计算方面做得学习研究心得,我们都知道云计算越来越深入到我们的生活中,从两年前谷歌最先提出云计算的概念,到如今大量的云计算已经影响并改变着我们的生活,或许也将颠覆我们传统的pc使用格局,我想这句话并不是空穴来风,因为有了云计算提供的服务,我们可以用手机来进行随时随地进行工作和生活. * * 1.服务的实现机制对用户通明，用户无需了解云计算的具体机制，就可以获得需要的服务。 2.云计算系统由大量商用计算机组成集群向用户提供数据处理服务。随着计算机数量的增加，系统出现错误的概率大大增加。在没有专用的硬件可靠性部件的支持下，采用软件的方式，即数据冗余和分布式存储来保证数据的可靠性。 3.通过集成海量存储和高性能的计算能力，云能提供较高的服务质量。云计算系统可以自动检测失效节点，将失效节点排除，不影响系统的正常运行。 4.云计算系统提供高层次的编程模型。用户通过简单学习，就可以编写自己的云计算程序，在“云”系统上执行，满足自己的需求。 5.组建一个采用大量的商业机组成的集群相对于同样性能的超级计算机花费的资金要少很多。 6.用户可以支付不同的费用，以获得不同级别的服务等。 * 用户编写的 Map 操作需要输入并生成一组中间键/值对。MapReduce 库将所有与同一中间键 #1 相关联的中间值组合到一起，并且将它们传递给 Reduce 功能。 * 执行一个MapReduce程序需要五个步骤：输入文件、将文件分配给多个worker并行地执行、写中间文件（本地写）、多个Reduce worker同时运行、输出最终结果。本地写中间文件在减少了对网络带宽的压力同时减少了写中间文件的时间耗费。执行Reduce时，根据从Master获得的中间文件位置信息，Redu