云计算与大数据技术 教学课件 王鹏 黄焱 安俊秀 张逸琴 第2章 云计算与大数据的相关技术（楷体）精选.ppt

根据一致性哈希算法的基本原理在面向数据的分布式系统中计算和存储位置一致性方法如图2.4所示，其主要步骤如下： ① 将服务器节点以IP地址作为Key值，以一致性哈希方法映射到哈希环上； ② 在数据存储时以(用户名+文件逻辑位置)作为惟一的Key值，映射到哈希环上，并顺时针找到离自己哈希值最近的节点作为实际数据存储的位置； ③ 在发起计算任务时提取计算任务所要操作的数据对应的(用户名+文件逻辑位置)值作为Key值，映射到哈希环上，并顺时针找到离自己哈希值最近的节点注入程序并发起计算的节点。由于相同用户的相同数据 (用户名+文件逻辑位置) 其在一致性哈希算法作用下一定会被分配到相同的节点，从而保证了计算所发起的节点刚好就是计算所需要处理的数据所在的节点。 在这种算法的支持下只要计算程序片需要处理的数据逻辑位置是确定的，系统就会将计算程序片路由到数据存储位置所在的节点，这时节点间的负载均衡性是由数据分布的均衡化来实现的。 图2.4　一致性哈希算法实现计算与数据的位置一致性 2.3.2 一致性哈希算法中计算和存储位置的一致性 * 一致性哈希算法可以实现无中心节点的计算和数据定位，使计算可以惟一地找到其所要处理和分析的数据，使计算能最大可能地在数据存储的位置发起，从而节约大量的网络资源，同时避免了系统单点失效造成的不良影响。 利用一致性哈希方法在面对海量文件时系统不用维护一个庞大的元数据库用于保存文件的存储信息，计算寻找数据的速度非常直接，路由的算法复杂度非常低。 需要存储大量Key-Value的Amazon的电子商务应用和Facebook的社交网站应用都采用了一致性哈希算法。 图2.4　一致性哈希算法实现计算与数据的位置一致性 一致性哈希算法可以实现无中心节点的计算和数据定位，使计算可以惟一地找到其所要处理和分析的数据，使计算能最大可能地在数据存储的位置发起，从而节约大量的网络资源，同时避免了系统单点失效造成的不良影响。利用一致性哈希方法在面对海量文件时系统不用维护一个庞大的元数据库用于保存文件的存储信息，计算寻找数据的速度非常直接，路由的算法复杂度非常低。需要存储大量Key-Value的Amazon的电子商务应用和Facebook的社交网站应用都采用了一致性哈希算法。 2.4　非关系型数据库 2.4.1　从关系型数据库到非关系型数据库 关系型数据库（Relational Database）技术是1970年埃德加·科德（Edgar Frank Codd）所提出的，关系型数据库克服了网络数据库模型和层次数据库模型的一些弱点。1981年埃德加·科德因在关系型数据库方面的贡献获得了图灵奖，因此埃德加·科德也被称为“关系数据库之父”（见图2.5）。关系型数据库几十年来一直是统治数据库技术的核心标准，目前主要的数据库系统仍然采用的是关系型数据库。埃德加·科德发明的关系数据库不仅有一个坚实的数学基础，即关系代数，而且埃德加·科德从关系代数的基础推演出一套关系数据库的理论。这个理论包括一系列“范式”，可以用来检查数据库是否有冗余性和不一致等性质。另外，埃德加·科德也在关系代数基础之上定义了一系列通用的数据基本操作。但云计算和大数据技术的出现逐步动摇了关系型数据库的统治地位。 图2.5　关系数据库之父— Edgar Frank Codd 随着信息产业的发展，特别是在云计算和互联网Web 2.0蓬勃发展的今天，数据库系统成为了IT架构中信息存储和处理的必要组成部分，Web 2.0 是相对Web 1.0 的新的一类互联网应用的统称。Web 1.0 的主要特点在于用户通过浏览器获取信息。Web 2.0 则更注重用户的交互作用，用户既是网站内容的浏览者，也是网站内容的制造者。所谓网站内容的制造者是说互联网上的每一个用户不再仅仅是互联网的读者，同时也成为互联网的作者；不再仅仅是在互联网上冲浪，同时也成为波浪制造者；在模式上由单纯的“读”向“写”以及“共同建设”发展；由被动地接收互联网信息向主动创造互联网信息发展，从而更加人性化。云计算资源网络化的提供方式更是为Web 2.0发展提供了无限的想象空间，从这一点看我们已很难将这两者完全区分开来。云计算技术对数据库高并发读/写的需求，对海量数据的高效率存储和访问的需求，对数据库的高可扩展性和高可用性的需求都让传统关系型数据库系统显得力不从心。同时关系型数据库技术中的一些核心技术要求如：数据库事务一致性需求，数据库的写实时性和读实时性需求，对复杂的SQL查询，特别是多表关联查询的需求等在Web 2.0技术中却并不是必要的，而且系统为此付出了较大的代价。 关系型数据库技术的出现是云计算、大数据技术的必然需求，非关系型数据库可以被称为一项数据库的革命，从2009年开始，在云计算的发展和开源社区