Google云计算平台介绍.pdfVIP

Google云计算平台介绍

胡经国

本文作者的话

本文是根据有关文献和资料编写的《漫话云计算》系列文稿之一。现作为

云计算学习笔录，奉献给云计算业外读者，作为进一步学习和研究的参考。希

望能够得到大家的指教和喜欢！

下面是正文

一、Google云计算基础架构模式

Google云计算技术，实际上是针对Google特定的网络应用程序而定制

的。针对内部网络数据规模超大的特点，Google提出了一整套基于分布式并行

集群方式的基础架构，利用软件的能力来处理集群中经常发生的节点失效问

题。

从2003年开始，Google连续几年，在计算机系统研究领域的最顶级会议

与杂志上发表论文；揭示其内部的分布式数据处理方法，向外界展示其使用的

云计算核心技术。

从其近几年发表的论文来看，Google使用的云计算基础架构模式，包括以

下四个既相互独立而又紧密结合在一起的系统：

⑴、Google建立在集群之上的文件系统GoogleFileSystem；

⑵、针对Google应用程序的特点提出的Map/Reduce编程模式；

⑶、分布式的锁机制Chubby；

⑷、Google开发的模型简化的大规模分布式数据库管理系统BigTable。

二、Google文件系统

为了满足Google迅速增长的数据处理需求，Google设计并实现了Google

文件系统（GoogleFileSystem，GFS）。

GFS与过去的分布式文件系统相比具有许多相同的目标，例如性能、可伸

缩性、可靠性和可用性。

1、应用负载和技术环境的影响

然而，GFS的设计还受到Google应用负载和技术环境的影响。这主要体现

在以下四个方面：

⑴、集群中的节点失效是一种常态，而不是一种异常。由于参与运算与处

1

理的节点数目非常庞大，通常会使用上千个节点进行共同计算。因此，每时每

刻总会有节点处在失效状态。需要通过软件程序模块，监视系统的动态运行状

况，侦测错误；并且将容错以及自动恢复系统集成在系统中。

⑵、GFS中的文件大小，与通常文件系统中的文件大小，概念不一样。其

文件大小通常以G字节计。另外，文件系统中的文件含义与通常文件不同。一

个大文件可能包含大量数目的通常意义上的小文件。所以，设计预期和参数，

例如I/O操作和块尺寸，都要重新考虑。

⑶、GFS中的文件读写模式与传统的文件系统不同。在Google应用（如搜

索）中对大部分文件的修改，不是覆盖原有数据，而是在文件尾追加新数据。

对文件的随机写是几乎不存在的。

对于这类巨大文件的访问模式，客户端对数据块缓存失去意义，追加操作

成为性能优化和原子性（把一个事务看做是一个程序；它要么被完整地执行，

要么完全不执行）保证的焦点。

⑷、GFS某些具体操作不再透明；而且需要应用程序的协助完成。应用程

序和文件系统API的协同设计，提高了整个系统的灵活性。例如，放松了对

GFS一致性模型的要求。这样，不用加重应用程序的负担，就大大简化了文件

系统的设计。还引入了原子性的追加操作。这样，在多个客户端同时进行追加

的时候，就不需要额外的同步操作了。

总之，GFS是为Google应用程序本身而设计的。据称，Google已经部署

了许多GFS集群。有的集群拥有超过1000个存储节点，超过300T的硬盘空

间，被不同机器上的数百个客户端连续不断地频繁访问着。

2、Google文件系统架构

图1（略），给出了Google文件系统系统架构。

一个GFS集群，包含一个主服务器和多个块服务器，被多个客户端访问。

文件被分割成固定尺寸的块。在每个块创建的时候，服务器分配给它一个

不变的、全球惟一的64位块