大数据技术及应用大数据存储和管理分布式数据库(nosql)第三课.pdfVIP

大数据技术与应用 网络与交换技术国家重点实验室 交换与智能控制研究中心 程祥 2016年9月 提纲-大数据存储和管理 1. 分布式文件系统 1.1 概述 1.2 典型分布式文件系统 1.3 HDFS 2. 分布式数据库 2.1 概述 2.2 NoSQL 2.3 HBase 2.4 MongoDB （略） 2.5 云数据库 （略） 2.1 分布式数据库概述 四类典型的用于大数据存储和管理的分布式数 据库系统有： 1. 并行数据库 2. NoSQL数据管理系统 3. NewSQL数据管理系统 4. 云数据管理系统 2.1 概述-并行数据库 • 定义 通过并行使用多个CPU和磁盘来将诸如装载数据、建立索 引、执行查询等操作并行化以提升性能的数据库系统。往 往运行在通用计算机组成的集群环境中。 • 优点 通过多个节点并行执行数据库任务、提高整个数据库系统 的性能和可用性。 • 不足 并行数据库设计和优化时认为集群中节点数量是固定的， 若果对集群进行扩展或收缩，数据转移成本高，还会导致 系统一段时间不可用。 认为节点故障是特例，因此只提供事务级别的容错，如果 查询过程中节点出错，整个查询需要重运行。 2.1 概述-NoSQL数据管理系统 • 定义  没有固定数据模式并且可以水平扩展的系统被称为NoSQL。NoSQL不支 持关系数据模型。 • 优点  数据模型简单，每条记录拥有唯一的键，一次操作获取单个记录增强 了系统可扩展性。  与并行数据库不同，NoSQL数据系统能够基于低端硬件（通用PC机） 进行水平扩展，灵活性高，成本低。  NoSQL数据系统吞吐量比传统关系数据管理系统要高很多，例如， Google的Bigtable每天可处理20PB的数据。 • 不足  不支持ACID特性，然而，ACID特性能够使系统在中断的情况下保证在 线事务能够准确执行。  NoSQL系统提供不同的查询模型，增加了开发者负担。 2.1 概述-NewSQL数据管理系统 • 定义 既能够支持传统关系型数据库的ACID事务特性和SQL查询 ，又能够提供NoSQL数据管理系统的可扩展性的数据管理 系统。NewSQL是对传统基于SQL的关系型数据库的创新。 • 特性  支持关系数据模型 使用SQL作为主要接口 具有高吞吐量和高可扩展性 2.1 概述-云数据管理系统 • 定义 基于云计算技术的数据管理系统，用户无需在本地安装数 据库软件，只需使用“云数据库服务提供商”提供的数据 库服务即可。 • 优点  用户无需购买基础设施和软件，性价比高。  用户可以根据自己的需求申请存储资源即可，并且可以根 据应用需求动态变化，可伸缩性好。  用户无需考虑云数据库底层的硬件和软件实现，只需要通 过其提供的接口使用其服务。 • 不足 存储在云数据库中的数据可能会造成隐私泄露 2.2 NoSQL 2.2.1 NoSQL简介 2.2.2 NoSQL的兴起原因 2.2.3 NoSQL与关系数据库的比较 2.2.4 NoSQL的四大类型 2.2.5 NoSQL理论基础 2.2.6 从NoSQL到NewSQL 2.2.1 NoSQL简介 概念演变 最初表示“反SQL”运动 现在表示关系和非关系型数据库各有优缺点 用新型的非关系数据库取代关系数据库 彼此都无法互相取代 通常，NoSQL数据库具有以下几个特点： （1）数据模型灵活、简洁 （2）水平可扩展性强 （3）系统吞吐量高 目前NoSQL数据库已经广泛应用于谷歌、亚马逊、Facebook、 百度、阿里、腾讯等大型互联网公司。