大数据与云计算-雷99课件讲解.pptx

主讲人：雷明大数据与云计算

知识点HBASE数据库入门

3hbase与分布式文件系统hdfs的区别1hbase的结构2hbase的特性HBASE数据库入门

HBase本质上是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳。hbase的结构用户在表中存储数据，每一行都有一个可排序的行键和任意多的列。表中的值是未经解释的字符串，没有数据类型。

行键列族cf1列族cf2列限定符3个时间戳有些列的值是空的，所以HBase是稀疏的hbase的结构

逻辑视图vs.物理视图hbase的结构

关系型数据库当中要修改表的结构就是很复杂的一件事，比如增加一个字段。举个例子来说，如果我们的成绩表当中忘记了计算机成绩这一列，你都录入了一大半数据才发现，这个时候你要先修改表的结构增加一列，然后在一行一行的输入每个同学的计算机成绩。如果是hbase就简单了，我把这一列直接扩充到hbase里面就可以了。hbase的结构

29列族支持动态扩展，可以很轻松地添加一个列族或列，无需预先定义列的数量以及类型，所有列均以字符串形式存储，用户需要自行进行数据类型转换。hbase的结构HBase中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍然保留。若不提供时间戳则默认返回必威体育精装版版本。数据是按照时间戳顺序存储的，客户端可以选择获取距离某个时间最近的版本，或者获取所有版本。

表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族hbase的结构行：每个HBase表都由若干行组成，每个行由行键（rowkey）来标识。列族：一个HBase表被分组成许多“列族”（ColumnFamily）的集合，它是基本的访问控制单元

列限定符：列族里的数据通过列限定符（或列）来定位hbase的结构单元格：在HBase表中，通过行、列族和列限定符确定一个“单元格”（cell），单元格中存储的数据没有数据类型，总被视为字节数组byte[]时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引

HBase中需要根据行键、列族、列限定符和时间戳来确定一个单元格，因此可视为一个“四维坐标”[行键,列族,列限定符,时间戳]；如果把坐标看成“键”，单元格数据看成“值”，HBase也可看成一个键值数据库。hbase的结构

为空的列并不占用存储空间，表可以设计的非常稀疏稀疏性每一列存储的数据可以有多个version。多版本单表可以有百亿行、百万列，数据矩阵横向和纵向两个维度所支持的数据量级都非常具有弹性。数据容量大HBase特性

读写强一致，非“最终一致性”的数据存储，使得它非常适合高速的计算聚合。自动分片，通过Region分散在集群中，当行数增长的时候，Region也会自动的切分和再分配。Hadoop/HDFS集成，和HDFS开箱即用，不用太麻烦的衔接。扩展性强，只需要增加DataNode就可以增加存储空间。HBase特性

丰富的“简洁，高效”API（应用程序接口），提供了Thrift/RESTAPI，JavaAPI等方式对HBase进行访问。块缓存，布隆过滤器，可以高效的列查询优化。操作管理，Hbase提供了内置的web界面来操作，还可以监控JMX指标。高可靠，保证了系统的容错能力，WAL机制使得数据写入时不会因为集群异常而导致写入数据丢失。故HBase选择了CAP中的CP。HBase特性

面向列的存储和权限控制，并支持独立检索，可以动态的增加列。列式存储：其数据在表中是按照某列存储的，这样在查询只需要少数几个字段的时候，能大大减少读取的数据量。高性能：具备海量数据的随机访问和实时读写能力。HBase特性

分布式文件系统(HDFS)是指文件系统管理的物理存储资源不仅存储在本地节点上，还可以通过网络连接存储在非本地节点上。计算机集群的基本架构HBase与HDFS的区别

HBase与HDFS的区别分布式文件系统改变了数据存储和管理方式，相对于本地文件系统具有很存储和管理分布式多优势：低成本易扩展强可靠高可用1用户无需关心数据是存储在哪个节点上，可以如同使用本地文件系统一样文件系统里的数据。2HDFS优点

HDFS是面向批量的访问模式，其类型为文件系统，存储的是文件类型的数据。HBase与HDFS的区别HBase是面向随机访问和实时读写模式，其类型为数据库服务，存储的是非结构化和半结构化的松散数据。

HBase使用HDFS作为底层的文件系统，HBase的数据最终会写到HDFS中。就像其他的数据库一样，真正的数据是存储在操作系统里的文件系统中的。HDFS是文件系统，Hbase是数据库。你可以把Hbase当做是MySQL，把