武汉理工云计算重点.docVIP

武汉理工云计算重点

云计算

云计算定义：云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。

云计算特点：

超大规模：服务器群；

虚拟化：可以看作是一片用于计算的云；

高可靠性：冗余副本、负载均衡；

通用性：支撑千变万化的实际应用；

高可扩展性：灵活、动态伸缩；

按需服务：按需购买；

极其廉价：不再需要一次性购买超级电脑；

安全：摆脱数据丢失、病毒入侵；

方便：支持多终端、数据共享。

云计算分类：

SaaS（SoftwareasaService）：将软件作为服务

PaaS（PlatformasaService）：将平台作为服务

IaaS（InfrastructureasaService）：将基础设施作为服务

并行计算：同时使用多种计算资源解决计算问题的过程

分布式计算：将需要巨大计算能力的问题分成许多小部分进行处理，最后综合结果

网格计算：在动态、多机构参与的虚拟组织中协同共享资源和求解问题

云计算与网格计算比较：（考简答可能性低）

谷歌云平台

GFS

设计目标

（1）高性能（performance）；（2）可扩展（scalability）；

由五台服务器组成，其中一台master，服务维护与客户端的所有通信；

其他服务器不断和主服务器通信，获取用户操作。Chubby服务器组的所有机器都会执行用户操作，并将数据存放到文件系统。

Chubby文件系统类似于简单的unix文件系统，但它不支持文件移动操作与硬连接。

文件系统由许多Node组成，每个Node代表一个文件，或者一个目录。

文件系统使用BerkeleyDB来保存每个Node的数据。

Bigtable

BigTable是一个分布式的结过婚数据存储系统，它存储着PB级别的数据。

BigTable的设计目标是：（1）适用性广；（2）扩展方便；（3）简单性；（4）高可用；

在Bigtable中Chubby主要有以下几个作用：

选取并保证同一时间内只有一个主服务器（MasterServer）。

选取子表的位置信息

保存Bigtable的模式信息及访问控制列表。

AWS

Amazon云计算核心技术

弹性计算云EC2

简单存储服务S3

简单数据库服务SimpleDB

简单队列服务SQS

弹性MapReduce服务

内容推送服务CloudFront

电子商务服务DevPay

灵活支付服务FPS

Dynamo

核心思想：

Dynamo是一个去中心化的系统，它只需要很少很少的人工管理。存储节点的添加、删除，不需要任何手工划分或重新分配并提供最终一致性（eventually-consistent）保证。

Dynamo需要解决的主要问题及先关技术：

数据均衡分布：Dynamo采用改进的一致性哈希算法，每个节点只需处理落在它和它的前驱节点之间的数据，这样增/删节点时系统震荡少。Dynamo中冗余存储（备份）数据保存在环上顺时针方向的后继节点中。写操作的时候采用了优化的方式，保证一个副本必须写入硬盘，其他副本只要写入节点内存即返回成功。这样既保证了副本的数量又减少了延时。

数据冲突问题：Dynamo牺牲一致性来换取系统的可靠性和可用性，因此Dynamo采用了一致性模型来解决数据冲突（不在意数据更新过程中的一致性问题，只要最终所有数据副本能保证一致即可）

容错机制：

临时故障处理：HintedHandoff

Dynamo为了提高系统可用性，使用乐观方式仲裁读写。

读写都不会因为节点失效或网络故障而失败，只有所有节点都失效时读写才会被拒绝。

永久性故障处理：副本同步

Dynamo实现了反熵（anti-entropy）或叫副本同步的协议。

Dynamo采用MerkleTree，一种哈希树来存储key的信息，树的比对能轻易的了解副本是否同步；

每个节点维护一个单独的MerkleTree，树的比对也能轻易的找出不同步的key；方案的缺点是，当有节点加入或离开系统时，许多key会发生变化，需要对树进行重新计算。

S3

对象：数据和元数据（描述数据的数据：last-modified,E-tag,Content-Type,Content-Length）

键：对象的唯一标识符

桶：存储对象容器（最多创建100个桶，不限桶中文件数量）

S3系统采用冗余存储

优势：某些服务器出现故障时用户仍然可以对其数据进行操作

弊端：用户在操作时可能会出现如下几种情况(读脏数据)

一个进程写入一个新的对象并立即尝试读取它，但在该改变被传送到S3的多个服务器前，服务器对该操作可能返回“键不存在”

一个进程写入一个新的对象并立即尝试列出桶中已有的对象，但在该改变被传送到S3的多个服务器前，该对象很可能不会出现在列表中

一个进程用