HBase应用场景、原理与基本架构.pdf

HBase应用场景、原理与基本 架构 讲师：董西成 博客： Open Passion Value 目录 1. HBase概述 2. HBase物理模型 3. HBase数据模型 4. HBase基本架构 5. HBase应用举例 6. 总结 2 HBase概述  HBase是一个构建在HDFS上的分布式列存 储系统；  HBase是Apache Hadoop生态系统中的重要 一员，主要用于海量结构化数据存储；  从逻辑上讲，HBase将数据按照表、行和列 进行存储。 3 Hbase是Hadoop生态系统的一个组成部分 HBase 构建在HDFS之上 Hbase 内部管理的 文件全部存储在 HDFS中 4 Hbase与HDFS对比  两者都具有良好的容错性和扩展性，都可以 扩展到成百上千个节点；  HDFS适合批处理场景  不支持数据随机查找  不适合增量数据处理  不支持数据更新 5 Hbase表的特点 大：一个表可以有数十亿行，上百万列； 无模式：每行都有一个可排序的主键和任意多的列，列可以 根据需要动态的增加，同一张表中不同的行可以有截然不同的 列； 面向列：面向列（族）的存储和权限控制，列（族）独立检 索； 稀疏：对于空（null）的列，并不占用存储空间，表可以设计 的非常稀疏； 数据多版本：每个单元中的数据可以有多个版本，默认情况 下版本号自动分配，是单元格插入时的时间戳； 数据类型单一：Hbase中的数据都是字符串，没有类型。 6 行存储与列存储 传统行式数据库 数据是按行存储的 没有索引的查询使用大量I/O 建立索引和物化视图需要花费大量时间和资源 面向查询的需求，数据库必须被大量膨胀才能满 足性能要求 列式数据库 数据是按列存储-每一列单独存放 数据即是索引 指访问查询涉及的列-大量降低系统I/O 每一列由一个线索来处理-查询的并发处理 数据类型一致，数据特征相似-高效压缩 7 目录 1. HBase概述 2. HBase数据模型 3. HBase物理模型 4. HBase基本架构