国内外三大云作系统综述.docx

0引言云操作系统，又称云计算操作系统、云计算中心操作系统、云OS，是以云计算、云存储技术作为支撑的操作系统，是云计算后台数据中心的整体管理运营系统。它是指构架于服务器、存储、网络等基础硬件资源和单机操作系统、中间件、数据库等基础软件之上的、管理海量的基础硬件、软件资源的云平台综合管理系统。云OS通常包含以下几个模块：大规模基础软硬件管理、虚拟计算管理、分布式文件系统、业务/资源调度管理、安全管理控制等几大模块组成。简单来讲，云OS有以下几个作用：一是治众如治寡，能管理和驱动海量服务器、存储等基础硬件，将一个数据中心的硬件资源逻辑上整合成一台服务器；二是为云应用软件提供统一、标准的接口；三是管理海量的计算任务以及资源调配。IBM公司于2007年底宣布了云计算计划[1]，云计算的概念出现在大众面前。云计算正成为新的计算机研究和产业发展重要热点，云计算模式主要特点在于通过网络，把原来在单台计算机中软件的运算和存储分开到用户终端机和网络服务器上完成。云系统是采用国际首创的HFP及HDRDP技术在局域网架构下实现云计算使用效果的新一代通用计算机系统产品。至今为止，IBM、Google、亚马逊、百度、阿里等公司都推出了自己的云计算模型。本文主要对Google、IBM和亚马逊的技术特点、架构和应用案例进行分析。1Google File System操作系统为了满足Google迅速增长的数据处理需求，出现了Google文件系统(Google File System —GFS)。1.1Google File System技术特点GFS与传统的分布式文件系统有着很多相同的设计目标，比如，性能、可伸缩性、可靠性以及可用性。以下是从几个方面介绍Google File System技术特点：（1）系统由许多廉价的普通组件组成，组件失效是一种常态。系统必须持续监控自身的状态，它必须将组件失效作为一种常态，能够迅速地侦测、冗余并恢复失效的组件。（2）系统存储一定数量的大文件。预期会有几百万文件，文件的大小通常在100MB或者以上。数个GB大小的文件也是普遍存在，并且要能够被有效的管理。系统也必须支持小文件，但是不需要针对小文件做专门的优化。（3）系统的工作负载主要由两种读操作组成：大规模的流式读取和小规模的随机读取。大规模的流式读取通常一次读取数百KB的数据，更常见的是一次读取1MB甚至更多的数据。来自同一个客户机的连续操作通常是读取同一个文件中连续的一个区域。小规模的随机读取通常是在文件某个随机的位置读取几个KB数据。如果应用程序对性能非常关注，通常的做法是把小规模的随机读取操作合并并排序，之后按顺序批量读取，这样就避免了在文件中前后来回的移动读取位置。（4）系统的工作负载还包括许多大规模的、顺序的、数据追加方式的写操作。一般情况下，每次写入的数据的大小和大规模读类似。数据一旦被写入后，文件就很少会被修改了。系统支持小规模的随机位置写入操作，但是可能效率不彰。（5）系统必须高效的、行为定义明确的实现多客户端并行追加数据到同一个文件里的语意。我们的文件通常被用于“生产者-消费者”队列，或者其它多路文件合并操作。通常会有数百个生产者，每个生产者进程运行在一台机器上，同时对一个文件进行追加操作。使用最小的同步开销来实现的原子的多路追加数据操作是必不可少的。文件可以在稍后读取，或者是消费者在追加的操作的同时读取文件。（6）高性能的稳定网络带宽远比低延迟重要。我们的目标程序绝大部分要求能够高速率的、大批量的处理数据，极少有程序对单一的读写操作有严格的响应时间要求。1.2 Google File System 的系统架构图 1 给出了 Google File System 的系统架构。如图 1 所示，一个 GFS 集群包含一个主服务器和多个块服务器，被多个客户端访问。大文件被分割成固定尺寸的块,块服务器把块作为 Linux 文件保存在本地硬盘上，并根据指定的块句柄和字节范围来读写块数据。为了保证可靠性，每个块被缺省保存 3 个备份。主服务器管理文件系统所有的元数据，包括名字空间、访问控制、文件到块的映射、块物理位置等相关信息.通过服务器端和客户端的联合设计，GFS对应用支持达到性能与可用性最优。GFS 是为 Google 应用程序本身而设计的，在内部部署了许多GFS 集群。有的集群拥有超过 1000 个存储节点，超过300T的硬盘空间，被不同机器上的数百个客户端连续不断地频繁访问着。图 1 Google File System 的系统架构1.3 Google File System应用案例GFS已经成功地满足我们的存储需求，并且广泛中使用谷歌作为研究和存储平台开发以及生产数据处理。设计保证了在有大量的并发读写操作时能够提供很高的合计吞吐量。通过分离控制流和数据