武汉理工云计算的重点.doc

云计算 云计算定义：云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。 云计算特点： 超大规模：服务器群； 虚拟化：可以看作是一片用于计算的云； 高可靠性：冗余副本、负载均衡； 通用性：支撑千变万化的实际应用； 高可扩展性：灵活、动态伸缩； 按需服务：按需购买； 极其廉价：不再需要一次性购买超级电脑； 安全：摆脱数据丢失、病毒入侵 ； 方便：支持多终端、数据共享。 云计算分类： SaaS（Software as a Service）：将软件作为服务 PaaS（Platform as a Service）：将平台作为服务 IaaS（Infrastructure as a Service）：将基础设施作为服务 并行计算：同时使用多种计算资源解决计算问题的过程 分布式计算：将需要巨大计算能力的问题分成许多小部分进行处理，最后综合结果 网格计算：在动态、多机构参与的虚拟组织中协同共享资源和求解问题 云计算与网格计算比较：（考简答可能性低） 谷歌云平台 GFS 设计目标 （1）高性能（performance）；（2）可扩展（scalability）； （3）高可靠性（reliability）；（4）高可用（availability）； 系统架构 Client客户端：应用程序的访问接口 Master主服务器：管理节点，在逻辑上只有一个，保存系统的元数据，负责整个文件系统的管理 Chunk Server数据块服务器：负责具体的存储工作。数据以文件的形式存储在Chunk Server上 特点（成本、可靠性、性能的平衡） 容错： Master容错 单个Master，对于前两种元数据，GFS通过操作日志来提供容错功能 第三种元数据信息保存在各个Chunk Server上，Master故障时，磁盘恢复 GFS还提供了Master远程的实时备份,防止Master彻底死机的情况 Chunk Server容错 1）每一个Chunk有多个存储副本（默认为三个），分布存储在不同的Chunk Server上用户态的GFS不会影响Chunk Server的稳定性 2）副本的分布策略需要考虑多种因素，如网络的拓扑、机架的分布、磁盘的利用率等 3）对于每一个Chunk，必须将所有的副本全部写入成功，才视为成功写入 尽管一份数据需要存储三份，好像磁盘空间的利用率不高，但综合比较多种因素，加之磁盘的成本不断下降，采用副本无疑是最简单、最可靠、最有效，而且实现的难度也最小的一种方法。 Chubby Lock Chubby系统提供粗粒度的分布式锁服务，它基于松耦合分布式系统的可靠设计。 Chubby的使用者不需要使用复杂的同步协议，二是直接调用Chubby的锁服务，即可保证数据操作的一致性。 同时这种锁服务是建议性的，而非强制性的，这样能带来更大的灵活性。 Chubby具有广泛的应用场景，例如：（1）GFS选主服务器；（2）BigTable中的表锁； Chubby系统分为两个重要组件：（1）Chubby库：客户端通过调用Chubby代码库，申请锁服务，并获取相关信息，同时通过租约保持与服务器的连接；（2）Chubby服务器组：一个服务器组一般由五台服务器组成，其中一台master，服务维护与客户端的所有通信；其他服务器不断和主服务器通信，获取用户操作。Chubby服务器组的所有机器都会执行用户操作，并将数据存放到文件系统。 Chubby文件系统类似于简单的unix文件系统，但它不支持文件移动操作与硬连接。 文件系统由许多Node组成，每个Node代表一个文件，或者一个目录。 文件系统使用Berkeley DB来保存每个Node的数据。 BigtableBigTable是一个分布式的结过婚数据存储系统，它存储着PB级别的数据。BigTable的设计目标是：（1）适用性广；（2）扩展方便；（3）简单性；（4）高可用； 在Bigtable中Chubby主要有以下几个作用： 选取并保证同一时间内只有一个主服务器（Master Server）。 选取子表的位置信息 保存Bigtable的模式信息及访问控制列表。 AWS Amazon云计算核心技术 弹性计算云EC2 简单存储服务S3 简单数据库服务Simple DB 简单队列服务SQS 弹性MapReduce服务 内容推送服务CloudFront 电子商务服务DevPay 灵活支付服务FPS Dynamo 核心思想： Dynamo是一个去中心化的系统，它只需要很少很少的人工管理。存储节点的添加、删除，不需要任何手工划分或重新分配并提供最终一致性（eventually-consistent）保证。 Dynamo需要解决的主要问题及先关技术：