求出设备节点的哈希值-中国云计算课件.pptVIP

电子工业出版社《云计算(第二版)》配套课件第3章Amazon云计算AWS解放军理工大学刘鹏教授主编华东交通大学刘鹏制作

《云计算（第二版）》购买网址：当当网京东商城姊妹力作《实战Hadoop》购买网址：当当网京东商城

提纲?Amazon平台基础存储架构：Dynamo?弹性计算云EC2?简单存储服务S3?简单队列服务SQS?简单数据库服务SimpleDB?关系数据库服务RDS?内容推送服务CloudFront?其他Amazon云计算服务?AWS应用实例?小结

Amazon提供的云计算服务?弹性计算云EC2?简单存储服务S3?简单数据库服务SimpleDB?简单队列服务SQS?弹性MapReduce服务?内容推送服务CloudFront?电子商务服务DevPay?灵活支付服务FPS

Dynamo在Amazon服务平台的地位?Amazon平台的架构是完全的分布式、去中心化?需求——Amazon平台中有很多服务对存储的需求Amazon怎么处理这个需求？只是读取、写入，（满足简单的键/值式存储）面向服务的Amazon平台架构

Dynamo?简单的键/值方式存储数据，不支持复杂的查询存储的是数据值的原始形式（bit），不解析数据的?具体内容、不识别任何数据结构，这使得它几乎可以处理所有的数据类型Amazon平台基础存储架构：Dynamo

Dynamo架构的主要技术问题采取的相关技术数据均衡分布数据冲突处理临时故障处理改进的一致性哈希算法，数据备份向量时钟（vectorclock）Hintedhandoff（数据回传机制），参数（W,R,N）可调的弱quorum机制永久故障后的恢复Merkle哈希树成员资格以及错误检测基于gossip的成员资格协议和错误检测

数据均衡分布的问题?一致性哈希算法?平衡性?单调性?分散性?负载两步进行：求出设备节点的哈希值，并配置到环上的一个点；接着计算数据的哈希值，按顺时针方向将其映射到环上距其最近的节点；添加新节点时，按照上述规则，调整相关数据到新的节点上。删除节点和添加节点过程相反

?Dynamo采用的改进算法?虚拟节点?数据分区和等份存储

?数据备份当数据被均匀存储到环上各节点后，Dynamo将冗余存储数据（备份数据）思考个非常重要的问题——如何进行节点分布，保证相邻节点位于不同的数据中心？

数据冲突问题?Dynamo系统选择牺牲一致性来换取系统的可靠性和可用性?解决数据冲突：?最终一致性模型（EventualConsistency）?向量时钟向量时钟原理图

容错机制1）临时故障处理机制?在数据读写中采用了一种称为弱quorum（Sloppyquorum）的机制，涉及三个参数W、R、N?W—代表一次成功的写操作至少需要写入的副本数?R—代表一次成功读操作需由服务器返回给用户的最小副本数?N—每个数据存储的副本数?满足R+WN，用户即可自行配置R和WDynamo临时故障处理机制?优势：实现可用性与容错性之间的平衡

容错机制2）永久性故障处理机制?Merkle哈希树技术?每个虚拟节点保存三颗Merkle树，即每个键值区间建立一个Merkle树?哈希树的叶子节点是存储每个数据分区内所有数据对应的哈希值，父节点是其所有子节点的哈希值

成员资格及错误检测基于Gossip协议的成员资格检测机制?Gossip（闲聊）协议?错误检测机制基于Gossip协议的成员资格检测机制基于Gossip协议的最优传遍路径

提纲?Amazon平台基础存储架构：Dynamo?弹性计算云EC2?简单存储服务S3?简单队列服务SQS?简单数据库服务SimpleDB?关系数据库服务RDS?内容推送服务CloudFront?其他Amazon云计算服务?AWS应用实例?小结

弹性计算云EC2灵活性：EC2允许用户对运行实例类型、数量自行配置，还可以选择实例运行的地理位置，根据用户的需求随时改变实例的使用数量低成本：EC2使得企业不必为暂时的业务增长而购买额外的服务器等设备。EC2的服务都是按小时来收费，而且价格非常合理主要特性安全性：EC2向用户提供了一整套安全措施，包括基于密钥对机制的SSH方式访问、可配置的防火墙机制等，同时允许用户对它的应用程序进行监控易用性：用户可以根据Amazon提供的模块自由构建自己的应用程序，同时EC2还会对用户服务请求自动进行负载平衡容错性：利用系统提供的诸如弹性IP地址之类的机制，在故障发生时EC2能最大程度地保证用户服务仍能维持在稳定的水平

EC2基本架构及主要概念Amazon机器映像（AMI）?AMI（AmazonMachineImage）是一个可以将用户的应用程序、配置等一起打包的加密机器映像?AMI是用户云计算平台运行的基础，用户