大数据技术导论课件：大数据管理.pptx

大数据技术导论

4.1

NoSQL

4.1.1数据库技术的演变

上一层记录类型和下一层记录类型的联系是1:N联系，容易产生数据冗余

不能表达含有多对多关系的复杂结构，容易引起数据不一致

1、层次模型

4.1.2数据库管理系统

4.1

NoSQL

2、网状模型

数据量越大，结构越复杂，不利于用户掌握

用户必须了解系统存储结构的细节，加重了编程的负担

4.1

NoSQL

EdfarF.Codd

DonChamberlin

MichaelStonebraker

3、关系模型

4.1

NoSQL

4、

关系数据库

行式存储

4.1

NoSQL

5、

关系数据库

关系数据库存在的问题

表数据膨胀了

？

根据主键分表

关系型数据库逐渐演变成依赖主键的查询系统。

4.1

NoSQL

类型

部分代表

列存储

Hbase

文档存储

MongoDB

key-value存储

TokyoCabinet/Tyrant、BerkeleyDB

MemcacheDB、Redis

图存储

Neo4J

对象存储

Db4o、Versant

标签存储

XML

4.1.3新型数据库崛起

NoSQL=NotOnlySQL

4.1

NoSQL

1、NoSQL分类

4.1

NoSQL

(1)不需要预定义模式：数据中的每条记录都可能有不同的属性和格式。

(2)无共享架构：相对于将所有数据存储到服务中，达到数据共享。存在的问题是访问数据需要带宽。NoSQL将数据划分后存储在各个本地服务器上。

(3)弹性可扩展：可以在系统运行的时候，动态增加或者删除节点。不需要停机维护，数据可以自动迁移。

4.1.3新型数据库崛起

2、NoSQL特点

4.1

NoSQL

(4)分区：NoSQL数据库需要将数据进行分区，将记录分散在多个节点上面。这样既提高了并行性能，又能保证没有单点失效的问题。

(5)异步复制：和RAID存储系统不同的是，NoSQL中的复制，往往是基于日志的异步复制。优点是不会因网络传输引起迟延。缺点是并不总是能保证一致性，这样的方式在出现故障的时候，可能会丢失少量的数据。

可以说，NoSQL和SQL各有所长，成功的NoSQL必然特别适用于某些场合或者某些应用，在这些场合中会远远胜过关系型数据库。

4.1.3新型数据库崛起

4.1

NoSQL

关系型数据库处理一对多的问题，需要把外键放在多的一端。而健值数据库Redis可以在任何一端来管理一对多的关系。

键值数据库使用简单的键值方法来存储数据。键和值都可以是从简单对象到复杂复合对象的任何内容。【以WordCount的Map和Reduce为例】

Redis是内存型的键值数据库，键类型是字符串，值类型可以是字符串、字符串集合（Set）、sortedset、字符串列表（List）、哈希（Hash）等。

4.1.4健值数据库

4.1

NoSQL

4.1.5图数据库

图数据库使用灵活的图形模型，主要产品：Neo4J,InfoGrid,InfiniteGraph。

社交网络只是代表了图形数据库应用的冰山一角，但用它们来作为例子可以让人很容易理解。

下图显示“黑客帝国”这部电影的Neo4j实现。

4.1

NoSQL

4.1.5图数据库

现在问：谁是Neo的朋友？Neo朋友的朋友？谁在恋爱？显然关系数据库和健值数据库都无法回答，而用Neo4j很容易回答：

requirerubygems

requireneo4j

classPerson

includeNeo4j::NodeMixin

property:name

has_n:friends

index:name

end

4.1

NoSQL

4.1.5图数据库

#定义角色

neo=Person.new:name=Neo

morpheus=Person.new:name=Morpheus

trinity=Person.new:name=Trinity

cypher=Person.new:name=Cypher

smith=Person.new:name=AgentSmith

architect=Person.new:name=Architect

4.1

NoSQL

4.1.5图数据库

#定义关系

cypher.friendsmorpheus

cypher.friendssmith

neo.friendsmorpheus

morpheus.