云计算架构比较和关键技术讲解.ppt

4. 云计算研究现状 * Google App Engine Google App Engine 提供运行和开发的基础平台，允许开发人员编写网络应用，上传至App Engine部署运行 支持Java和Python两种开发语言 App Engine 应用程序易于构建和维护，并可根据访问量和数据存储需要，进行伸缩。 将应用程序隔离在它自己的安全可靠环境中，该环境与网络服务器的硬件、操作系统和物理位置无关 4. 云计算研究现状 * 云计算时代的分布并行编程技术 分布并行数据处理技术 Google MapReduce Hadoop MapReduce? 分布式文件系统 Google File System Hadoop Distributed File System 分布式数据库 Google BigTable Hadoop HBase 云计算的分布并行编程技术 4. 云计算研究现状 * 分布并行数据处理 MapReduce 用于大规模数据并行处理 数据量大（超过1TB） 在成百上千个CPU上并行处理 用户只需实现下面接口 map (in_key, in_value) - (out_key, intermediate_value) list reduce (out_key, intermediate_value list) - out_value list 分布并行数据处理（续） * MapReduce架构 4. MapReduce实现原理 * 分布式文件系统 * Google File System（GFS） 需求：在廉价、相对不可靠的计算机上对巨量数据进行冗余存储。 为什么不用现有的文件系统？--Google面对特殊的挑战 文件较大，每个都在100M以上，通常为几个GB 文件通常需要频繁的追加 用流方式读取 高吞吐量 低延迟 针对上述问题，GFS在文件系统性能和可伸缩性方面进行了优化设计。 Google文件系统(GFS) * Google48% MSN19% Yahoo33% 客户端 客户端 客户端 互为备份 管理节点 GFS主节点 GFS主节点 C0 C1 C2 C5 数据结点1 C0 C2 C5 数据结点N C1 C5 数据结点2 … 客户端 客户端 客户端 客户端 客户端 客户端 C1 分布式文件系统（续） * GFS的设计理念 文件用块存储 每个块固定为64MB 通过冗余解决可靠性问题 每个块同时拷贝在3个块服务器上 主服务器负责协调访问和保存元数据 简单化的集中管理 定制化的API 无数据缓存 较大文件块和流式读取使得缓存效果不佳 分布式数据库系统 * Google BigTable 为了处理Google内部大量的格式化以及半格式化数据而构建的大规模分布式数据库管理系统 特点 面向大规模处理、容错性强的自我管理系统，拥有TB级的内存和PB级的存储能力，每秒可以处理数百万的读写操作 能够保存记录的不同时段的版本 构建于GFS和MapReduce基础之上 分布式数据库系统（续） * BigTable的设计理念 面向网页数据的发布、有哪些信誉好的足球投注网站和浏览等特定处理的需要，简化数据管理系统的设计，并提高性能 不支持关联 不支持SQL查询 简化数据的一致性管理 网页数据的管理对一致性要求不高 简化事务管理 网页数据的处理（有哪些信誉好的足球投注网站、发布）对事务管理要求不高 面向海量数据管理要求 设计分割和合并管理机制（基于元数据） 设计自动伸缩功能（根据数据量调整资源用量） 分布式数据库系统（续） * BigTable架构 国内云计算企业 * 5. 云计算的机遇与挑战 * 近年来，云计算技术得到了快速发展。 随着它对人们日常生活的影响越来越深入，云计算最终使得计算和存储成为一种公共资源，像水、电一样渗透到人们生活的各个方面。 与此同时，新的应用需求不断出现，比如实时有哪些信誉好的足球投注网站，在线推荐系统，社交网络分析等应用，将给云计算技术带来新的挑战。 5. 云计算的机遇与挑战 * 云计算和移动互联网的结合 云计算与科学计算的结合 端到云的海量数据传输 大规模应用的部署与调试 新型的应用对数据存储量的要求更大 应用的复杂度和实时性要求越来越高 应用对数据随机访问的速度越来越高 6. 云计算与分布式处理 * 集中式:采用工作站/终端通过网络/电缆共享大型计算机的计算与存储资源; 分布式:在一个局域网中,每一台机器既是一台工作站,又是一台服务器,没有主—从之分,也就是人们常说的P2P模式。整个系统在用户看来就是一台存储容量大、计算能力强的虚拟机。 云计算：在互联网中，由多台计算（应用）服务器和数据库（存储）服务器组成的 6. 云计算与分布式处理 * 一台存储容量大、技术能力强的虚拟机，分布式存储及分布式计算模型是云计算体系架构中的核心。 云计