非常好的Google云计算技术培训课件.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 云计算 * 首页面 * EC2:（Elastic Computing Cloud）弹性计算云 S3 :（Simple Storage Service） 简单存储服务 * 其实Google GFS并没有采用多么惊奇的技术。它正是采用了廉价的商用机器来构建分布式系统。正如李开复所说，创新固然重要，但是有用的创新更重要。Google使用廉价的商用机器构建分布式文件系统，将容错任务交给文件系统来完成，利用软件的方法来解决系统可靠性的问题。在GOOGLE 的文件系统中，系统死机是经常发生的。所以系统死机都不能成为异常现象。那么如何在频繁的故障中确保数据的安全，保障提供不间断的数据存储服务是GFS需要考虑的核心问题。 * 1、GFS将整个系统划分为三类角色：Client，Master，Chunk Server 2、Client提供应用程序的访问接口（是一组专用接口，不遵守POSIX规范），以库文件的形式提供 3、Master是GFS的管理节点。在逻辑层面只有一个，保存整个系统的元数据。负责整个系统的文件管理。 4、chunk server 负责存储工作。数据主要以文件的形式存储在Chunk server 上 5、GFS将文件划分为大小为64M数据块chunk，每一个数据块（chunk）都有唯一的index索引号 * * * * * * * * * * * * * * * * * * * * * * 做为SaaS类的应用而言，用户在具体使用这些应用时，应用的功能实现在云端实现，所使用到的存储也在云端实现，它们对用户而言是透明的。而对于Google App Engine而言，用户应用计算的实现是在云端完成，具体而言用户并不清楚这些计算能力是由哪些CPU完成的。因此呢，这些应用都是典型的云计算应用。 * * * * * Google云计算关键技术——GFS GFS的架构 Chunk Server：负责具体的存储工作 GFS可以包含多个Chunk Server，其数目决定了GFS的存储规模 GFS将文件分块存储，块大小默认为64M，每隔块均具有唯一索引号（index） Google云计算关键技术——GFS GFS的架构 GFS的访问流程 Google云计算关键技术——GFS GFS的架构 访问流程实现了控制流和信息流的分离 Client与Master仅有控制流，使Master不成为瓶颈 Client与Chunk Server直接存储数据，实现高速的数据并发读取 Google云计算关键技术——GFS GFS的架构的特点 采用中心服务器模式 可以方便地增加Chunk Server Master掌握系统内所有Chunk Server的情况，方便进行负载均衡 不存在元数据的一致性问题 不缓冲数据 GFS的文件操作大部分是流式读写，不存在大量的重复读写，使用Cache对性能提高不大 Chunk Server上的数据存取使用本地文件系统，如果某个Chunk读取频繁，文件系统具有Cache 从可行性看，Cache与实际数据的一致性维护也极其复杂 Google云计算关键技术——GFS GFS的架构的特点 在用户态下实现 直接利用Chunk Server的文件系统存取Chunk，实现简单 用户态应用调试较为简单，利于开发 用户态的GFS不会影响Chunk Server的稳定性 只提供专用的访问接口 降低GFS的实现复杂度 Google云计算关键技术——GFS GFS的容错机制 Chunk Server容错 每个Chunk有多个存储副本（通常是3个），分别存储于不通的服务器上 每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本） Master容错 三类元数据：命名空间（目录结构）、Chunk与文件名的映射以及Chunk副本的位置信息 前两类通过日志提供容错，Chunk副本信息存储于Chunk Server，Master出现故障时可恢复 Google云计算关键技术——GFS 基于GFS的Google数据中心 节点廉价、易损坏，但整体可靠、稳定 Google云计算关键技术——MapReduce MapReduce Google提出的一个软件架构，是一种处理海量数据的并行编程模式 用于大规模数据集（通常大于1TB）的并行运算 MapReduce实现了Map和Reduce两个功能 Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集 Reduce对结果集进行分类和归纳 Ma