大数据技术与应用 第2版 课件 第4章 大数据存储.ppt

MySQL大数据中的数据库应用MySQL是一个小型的关系数据库管理系统，由于该软件体积小、运行速度快、操作方便等优点，目前被广泛的应用于Web上的中小企业网站的后台数据库中。在使用MySQL存储企业的海量数据时，可以用到分布式数据库的技术，即将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获得更大的存储容量和更高的并发访问量。HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。?Hive的优点如下：Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。Hive具有良好的容错性，节点出现问题SQL仍可完成执行。MongoDBMongoDB是一个跨平台，面向文档的数据库。它可以应用于各种规模的企业、各个行业以及各类应用程序的开源数据库。它是一个基于分布式文件存储的数据库，也是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。MongoDB支持的数据结构非常松散，是类似JSON的格式，因此可以存储比较复杂的数据类型。LevelDBLevelDB是一个可持久化的KV（Key-Value）数据库引擎，由Google传奇工程师JeffDean和SanjayGhemawat开发并开源。它是一种非关系型数据库，具有很高的随机写，顺序读/写性能。在数据存储中，LevelDB性能非常突出，官方网站报道其随机写性能达到40万条记录每秒，而随机读性能达到6万条记录每秒。总体来说，LevelDB的写操作要大大快于读操作，而顺序读写操作则大大快于随机读写操作。Neo4jNeo4j是一个高性能的，基于NoSQL的图形数据库，它将结构化数据存储在网络上而不是表中。同时，它也是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，因此Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。本章小结1）大数据存储通常是指将那些数量巨大、难于收集、处理、分析的数据集持久化到计算机中。在进行大数据分析之前，首先的步骤就是要将海量的数据存储起来，以便今后的使用。2）大数据的存储方式主要有分布式存储、NoSQL数据库、NewSQL数据库以及云数据库四种。3）大数据中的数据库应用主要有MySQL、Hive、MongoDB、LevelDB以及Neo4j等。*MongoDB是一个跨平台的，面向文档的数据库，是当前NoSQL数据库产品中最热门的一种。它介于关系数据库和非关系数据库之间，是非关系数据库当中功能最丰富，最像关

系数据库的产品。它支持的数据结构非常松散，是类JSON的BSON格式，因此可以存比较复杂的数据类型。MongoDB?的官方网站地址是：NoSQL数据库的分类（4）图形数据库图形数据库是一种非关系型数据库，它应用图形理论存储实体之间的关系信息。不过值得注意的是：图形数据库的基本含义是以“图”这种数据结构存储和查询数据，而不是存储图片的数据库。世界上很多著名的公司都在使用图数据库。比如：社交领域：Facebook,Twitter，Linkedin用它来管理社交关系，实现好友推荐零售领域：eBay，沃尔玛使用它实现商品实时推荐，给买家更好的购物体验金融领域：摩根大通，花旗和瑞银等银行在用图数据库做风控处理汽车制造领域：沃尔沃，戴姆勒和丰田等顶级汽车制造商依靠图数据库推动创新制造解决方案电信领域：Verizon,Orange和ATT等电信公司依靠图数据库来管理网络，控制访问并支持客户360酒店领域：万豪和雅高酒店等顶级酒店公司依使用图数据库来管理复杂且快速变化的库存图形数据库中还存在着节点集的概念，所谓节点集就是图中一系列节点的集合，比较接近于关系数据库中所最常使用的表。相对于关系数据库中的各种关联表，图形数据库中的关系可以通过关系能够包含属性这一功能来提供更为丰富的关系展现方式。因此相较于关系型数据库，图形数据库的用户在对事物进行抽象时将拥有一个额外的武器，那就是丰富的关系。图形数据库可用于对事物建模，如社交图谱，使用图形数据库可以显示出某个人在他/她的朋友圈中是否有影响力，以及这群朋友是否有着共同的兴趣爱好等。Neo4J是由Java实现的开源图数据库