大数据走向云计算 (8).ppt

第8章 大数据存储仓库 8.1 数据仓库 HBase是一个分布式的、面向列的开源数据库，HBase是Apache的Hadoop项目的子项目。HBase在Hadoop之上提供了类似于Bigtable的能力，其不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 什么时候使用HBase更合适呢？ 第一，保证数据量足够大，如果表中有数以千万计的行，那么HBase为一个不错的候选对象。第二，保证有充足的硬件。集群的节点数应该至少有6个，这是由于HDFS在少于5个Datanode时并不能很好的工作（原因如HDFS的块副本默认3个等），另外，还要加上1个Namenode。 8.2 HBase数据库 HBase系统框架示意图 HBase–Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 8.3 HBase模型 HBase以表的形式存储数据，每个表由行和列组成，每个列属于一个特定的列族（Column Family）。表中由行和列确定的存储单元称为一个元素（Cell），每个元素保存了同一份数据的多个版本，由时间戳（Time Stamp）来标识。 时间戳对应着每次数据操作所关键的时间，可以由系统自动生成，也可以由用户显式地赋值。注意，如果应用程序需要避免数据版本冲突，则必须显式地生成时间戳。 列定义为：family:label（列族:标签），通过这两部分可以唯一地指定一个数据的存储列。对列族的定义和修改需要管理员权限，而标签可以在任何时候添加。 8.4 HBase服务器 HBase在行的方向上将表分成了多个子表（Region），每个Region包含了一定范围内的数据。每个表最初只有一个Region，随着表中的记录数不断增加直到超过了某个阈值时，Region就会被划分成两个新的Region。所以一段时间后，一个表通常会有多个Region。 Region服务器 HBase访问接口类型主要以下几种： ● Native Java API，最常规和高效的访问方式，适合Hadoop MapReduce Job并行批处理HBase表数据。 ● HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用。 ● Thrift Gateway，利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据。 ● REST Gateway，支持REST风格的Http API访问HBase，解除了语言限制。 ● Pig，可以使用Pig Latin流式编程语言来操作HBase中的数据，和Hive类似，本质最终也是编译成MapReduce Job来处理HBase表数据，适合做数据统计 ● Hive，当前Hive的Release版本尚没有加入对HBase的支持，但在Hive0.7.0以上版本中将会支持HBase，可以使用类似SQL语言来访问HBase。 8.5 HBase基本操作 HBase的读数据流程为： ● 客户端连接ZooKeeper，获取-ROOT-节点的位置信息； ● 客户端咨询-ROOT-节点，定位包含请求行的.META. Region范围； ● 客户端查找.META.Region，获取包含用户数据的Region及其所在位置； ● 客户端与Region Server直接交互，读取数据。 HBase写数据流程如下： ● 客户端将写作添加到Log文件中，接着把数据写入Memcache中； ● 当Memcache填满时，内容被持久存储到HDFS文件系统的Store中。 ● Region Server周期性地发起Flush Cache命令，将Memcache中的数据持久存储到Store，同时清空Memcache。