分布式计算、云计算与大数据 第2版 课件 第4章 云计算原理与技术.ppt

提纲云计算概述云计算关键技术Google云计算原理亚马逊云服务云计算关键技术体系结构数据存储计算模型资源调度虚拟化技术云计算体系结构云计算核心服务通常可以分为3个子层：基础设施即服务层（IaaS,infrastructureasaservice）、平台即服务层（PaaS,platformasaservice）、软件即服务层（SaaS,softwareasaservice）云计算可以按需提供弹性的服务，它的架构可以大致分为三个层次：核心服务、服务管理、用户访问接口。NoSQL数据存储类别产品特性列存储HbaseCassandraHypertable顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对某一列或者某几列的查询有非常大的IO优势。文档存储MongoDBCouchDB文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段建立索引，实现关系数据库的某些功能。key-value存储Tokyo?Cabinet/TyrantBerkeley?DBMemcacheDBRedis可以通过key快速查询到其value。一般来说，存储不管value的格式，照单全收。（Redis包含了其他功能）图存储Neo4JFlockDB图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，而且设计使用不方便。对象存储db4oVersant通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据。xml数据库Berkeley?DB?XMLBaseX高效的存储XML数据，并支持XML的内部查询语法，比如XQuery,Xpath。MapReduce计算模型云计算的计算模型是一种可编程的并行计算框架，需要高扩展性和容错性支持。MapReduce是Google提出的并行程序编程模型，运行于GFS之上。它的设计思想在于将问题分而治之，首先将用户的原始数据源进行分块，然后分别交给不同的Map任务去处理。云计算资源调度**资源调度是云计算核心技术之一，它为云计算平台提供资源分配、任务调度等资源管理功能。通常云计算资源调度包括两个层面：一个是物理主机到虚拟机层面的资源分配（映射）；另一个是任务到虚拟机层面的调度（映射）。云计算虚拟化技术**虚拟化是云计算最重要的核心技术之一，它为云计算服务提供基础架构层面的支撑。虚拟化技术包括：服务器虚拟化、存储虚拟化、网络虚拟化、桌面虚拟化、应用虚拟化等提纲云计算概述云计算关键技术Google云计算原理亚马逊云服务Google云计算关键技术Google云计算平台的几个关键技术文件存储，GoogleFileSystem，GFS并行数据处理MapReduce结构化数据表BigTable分布式锁ChubbyGoogle云计算应用MapReduceBigTableGFSChubby**GFSGoogleFileSystem的系统架构一个软件架构，是一种处理海量数据的并行编程模式用于大规模数据集（通常大于1TB）的并行运算MapReduce实现了Map和Reduce两个功能Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集Reduce对结果集进行分类和归纳Map()和Reduce()两个函数可能会并行运行，即使不是在同一的系统的同一时刻MapReduce*Bigtable设计动机与目标需要存储的数据种类繁多：Google目前向公众开放的服务很多，需要处理的数据类型也非常多。包括URL、网页内容、用户的个性化设置在内的数据都是Google需要经常处理的海量的服务请求：Google运行着目前世界上最繁忙的系统，它每时每刻处理的客户服务请求数量是普通的系统根本无法承受的商用数据库无法满足Google的需求：一方面现有商用数据库设计着眼点在于通用性，根本无法满足Google的苛刻服务要求；另一方面对于底层系统的完全掌控会给后期的系统维护、升级带来极大的便利设计动机逻辑视图Bigtable是一个稀疏的、分布式的、多维度的、持久化存储的超级大表。每行包含一个可排序的行关键字，一个可选的时间戳以及一些可能有数据的列。BigTable会存储一系列的行记录，行记录有三个基本类型的定义：行关键字（RowKey）,时间戳（TimeStamp）,列（Column）。RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.c