基础课程 教案 云编程2.ppt

Computer School, NUDT. Spring, 2013 微软的Dryad和DryadLINQ Dryad: Dryad比MapReduce更具灵活性，因为Dryad应用程序的数据流并非被动或事先决定，并且用户可以很容易地定义。为了达到这样的灵活性，一个Dryad程序或者作业由一个有向无环图(DAG)定义，其顶点是计算引擎，边是顶点之间的通信信道。所以，用户或者应用开发者在作业中能方便地指定任意DAG来指定数据流。 对于给定的DAG，Dryad分配计算顶点给底层的计算引擎（集群节点），并控制边（集群结点之间的通信）的数据流。数据分块、调度、映射、同步、通信和容错是主要的实现细节，这些被Dryad隐藏以助于其编程环境。 BigTable——谷歌的NOSQL系统 BigTable提供了一个服务，用来存储和检索结构化与半结构化的数据。BigTable应用包括网页、每个用户数据和地理位置的存储。 使用商用数据库系统来解决如此大规模结构化或半结构化的数据是不可能的。这是重建数据管理系统的一个原因；产生的系统可以以较低的增量成本应用在很多项目中。重建数据管理系统的另一个动机是性能。低级存储优化能显著地提升性能，但如果运行在传统数据库层之上，则会困难得多。 BigTable系统的设计和实现有以下的目标。应用程序需要异步处理来连续更新不同的数据块，并且需要在任意时间访问大部分的当前数据。数据库需要支持很高的读/写速率，规模是每秒数百万的操作。另外，数据库还需要在所有或者感兴趣的数据子集上支持高效扫描，以及大规模一对一和一对多的数据集的有效连接。 BigTable能够看做是分布式多层映射。它像存储服务一样提供了容错能力和持续数据库。 BigTable使用如下的构建模块： 1.GFS：存储持续状态 2.调度器：涉及BigTable服务的调度作业 3.锁服务：主机选择，开机引导程序定位 4MapReduce:通常用来读/写BigTable数据 图6-20 BigTable数据模型和系统结构 子表位置分层 图6-21描述了如何对从Chubby中存储的文件开始的BigTable数据进行定位。 Chubby——谷歌的分布式锁服务 Chubby用来提供粗粒度锁服务。它能在Chubby存储中存储小文件，这里提供了一个简单命名空间作为文件系统树。和GFS中的大规模文件相比，存储在Chubby上的文件是非常小的。基于Paxos一致协议 6.4 亚马逊AWS与微软Azure中的编程 亚马逊EC2上的编程 亚马逊是第一家引入应用托管虚拟机的公司。用户可以租借虚拟机而不是物理机器来运行他们的应用程序。通过使用虚拟机，用户可以自己选择加载任意软件。这类服务的弹性特点是用户可以根据需要创建、启动和终止服务器实例，并且对活动服务器按小时支付费用。亚马逊提供几种类型的预装虚拟机。实例通常称为亚马逊机器镜像（Amazon Machine Image，AMI）。这些虚拟机预先配置了Linux或者Windows的操作系统和一些附加软件。 图6-23 亚马逊EC2运行环境 图6-24亚马逊S3运行环境 The Amazon Web Service (AWS) Platform 亚马逊简单存储服务（S3） 亚马逊S3提供一个简单Web服务接口，利用该接口可以在任意时间、任意地点通过Web存储和检索任意数据。S3为用户提供面向对象的存储服务。用户可以通过带有支持SOAP的浏览器或者其他客户端程序的SOAP来访问他们的对象。 对象是S3的基本操作单元。每个对象被存储在桶里，通过唯一的开发者分配的键值来被检索。也就是说，桶是对象的集装器。除了唯一的键值属性以外，对象还有数值、元数据和访问控制信息等其他属性。从程序员的角度来看，S3的存储可以被看做一个非常粗粒度的键-值对存储。通过键-值编程接口，用户可以读、写和删除对象。用户可以通过两类Web服务接口访问亚马逊云存储的数据。 亚马逊弹性数据块存储服务（EBS）和SimpleDB 弹性块存储（EBS）提供卷块接口用于存储和恢复EC2实例的虚拟镜像。在机器关闭后，EC2的状态仍被保存在EBS系统中。用户可以使用EBS保存永久性数据和安装到EC2的运行实例。S3是带消息传递接口的“存储即服务”。EBS类似于传统的操作系统磁盘访问机制的分布式文件系统。 在亚马逊EBS卷上，用户可以创建一个文件系统，也可以按使用块设备的其他任意方式来使用存储卷。快照用来增量地保存数据，利用快照可以提高数据存储和恢复的性能。 亚马逊SimpleDB服务 SimpleDB基于关系数据库数据模型提供了一个简单数据模型