浅谈云计算技术_分布式.pdf

  1. 1、本文档共6页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

浅谈云计算技术_分布式

浅谈云计算技术_分布式

引言云计算(CloudComputing)是一种基于互

联网的超级计算模式。它是分布式计算、并行计算和网格计算的进展。

其基本原理为:利用非本地或远程服务器(集群)的分布式计算机为互

联网用户供应服务(计算、存储、软硬件等服务)。云是一种思想,一

种大规模资源整合的思想,是IT界进展的必定趋势。云计算是一种

新型的超级计算方式,以数据为中心,是一种数据密集型的超级运算,

在数据存储、数据管理、云计算平台管理等多方面具有自身独特的技

术。

1、云计算的定义

云计算是从分布式处理(DistributedComputing)、并行处理

(ParallelComputing)和网格计算(GridComputing)进展而来的。到目前为

止,对于云计算的定义还没有一个确定的说法,可谓仁者见仁、智者

见智。狭义的云计算:指厂商通过分布式计算和虚拟化技术搭建数据

中心或超级计算机,以免费或按需租用方式向技术开发者或者企业客

户供应数据存储、分析以及科学计算等服务,比如亚马逊数据仓库出

租生意;广义的云计算:指厂商通过建立网络服务器集群,向各种不

同类型客户供应在线软件服务、硬件租借、数据存储、计算分析等不

同类型的服务,广义的云计算包括了更多的厂商和服务类型,例如国

1

内用友、金蝶等管理软件厂商推出的在线财务软件,谷歌发布的

Google应用程序套装等。

2、云计算的核心技术

云计算系统运用了很多技术,其中以数据存储技术、数据管理

技术、编程模型、虚拟化技术、云计算平台管理技术最为关键。

2.1数据存储技术

云计算的数据存储技术主要有谷歌的非开源的

(GoogleFileSystem)云计算系统由大量服务器组成,同时为大量用户服

务,因此云计算系统采纳分布式存储的方式存储数据,用冗余存储的

方式保证数据的牢靠性。云计算系统中广泛使用的数据存储系统是

Google的GFS和Hadoop团队开发的GFS的开源实现,GFS即Google

文件系统(GoogleFileSystem),是一个可扩展的分布式文件系统,用

于大型的、分布式的、对大量数据进行访问的应用。GFS系统由一个

Master和多个块服务器构成。Master存储着文件系统的全部元数据,

包括名字空间、存取掌握、文件分块信息、文件块的位置信息等。

GFS是针对大规模数据处理和Google应用特性而设计的。它

运行于廉价的一般硬件上,但可以供应容错功能,它可以给大量的用

户供应总体性能较高的服务,一个GFS集群由一个主服务器(master)

和大量的块服务器(chunkserver)构成,并被很多客户(Client)访问。

主服务器存储文件系统所以的元数据,包括名字空间、访问掌握信息、

从文件到块的映射以及块的当前位置。它也掌握系统范围的活动,如

块租约(lease)管理,孤儿块的垃圾收集,块服务器间的块迁移。主

2

服务器定期通过HeartBeat消息与每一个块服务器通信,给块服务器

传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗

余存储,每份数据在系统中保存3个以上备份。

客户与主服务器的交换只限于对元数据的操作,全部数据方面

的通信都直接和块服务器联系,这大大提高了系统的效率,防止主服

务器负载过重。云计算的数据存储技术将来的进展将集中在超大规模

的数据存储、数据加密和平安性保证以及连续提高I/O速率等方面。

2.2数据管理技术(BigTable)

海量的数据处理是指对大规模数据的计算和分析,通常数据的

规模可以达到TB甚至PB级别。基于互联网时代的数据统计和分析许

多是海量数据级别的,其典型的例子如搜寻引擎、数字图书馆。由于

数据量特别大,一台计算机不行能满意海量数据处理的性能和牢靠性

等方面的要求。

云计算需要对分布的、海量的数据进行处理、分析并向用户供

应高效的服务,因此,数据管理技术必需能够高

文档评论(0)

各类考试卷精编 + 关注
官方认证
内容提供者

各类考试卷、真题卷

认证主体社旗县兴中文具店(个体工商户)
IP属地河南
统一社会信用代码/组织机构代码
92411327MAD627N96D

1亿VIP精品文档

相关文档