HBase_简介_(来自京东很不错).ppt

物理存储 * 5 、HRegion虽然是分布式存储的最小单元，但并不是存储的最小单元。 事实上，HRegion由一个或者多个Store组成，每个store保存一个columns family。 每个Strore又由一个memStore和0至多个StoreFile组成。如图： StoreFile以HFile格式保存在HDFS上。 物理存储 * HFile的格式为： 物理存储 HFile分为六个部分： Data Block 段：保存表中的数据，这部分可以被压缩 Meta Block段 (可选的)：保存用户自定义的kv对，可以被压缩。 File Info 段：HFile的元信息，不被压缩，用户也可以在这一部分添加自己的元信息。 Data Block Index 段：Data Block的索引。每条索引的key是被索引的 block的第一条记录的key。 Meta Block Index段 (可选的)：Meta Block的索引。 Trailer段：这一段是定长的。保存了每一段的偏移量，读取一个HFile时，会 首先读取Trailer，Trailer保存了每个段的起始位置(段的Magic Number用来 做安全check)，然后，DataBlock Index会被读取到内存中，这样，当检索 某个key时，不需要扫描整个HFile，而只需从内存中找到key所在的block，通过一次磁盘io将整个 block读取到内存中，再找到需要的key Data Block Index采用LRU机制淘汰。 HFile的Data Block，Meta Block通常采用压缩方式存储，压缩之后可以大大减少网络IO和磁盘IO，随之而来的开销当然是需要花费cpu进行压缩和解压缩。 目标Hfile的压缩支持两种方式：Gzip，Lzo。 物理存储 * HLog(WAL log) HLog文件就是一个普通的Hadoop Sequence File，Sequence File 的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括 sequence number和timestamp，timestamp是”写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。HLog Sequece File的Value是HBase的KeyValue对象，即对应HFile中的KeyValue，可参见上文描述。 目录 HBase 简介 HBase 体系结构 HBase 数据模型 HBase 提供的接口 HBase 优化 HBase 用途 HBase 交互接口 Native Java API，最常规和高效的访问方式，适合Hadoop MapReduce Job并行批处理HBase表数据 HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用 Thrift Gateway，利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据 REST Gateway，支持REST 风格的Http API访问HBase， 解除了语言限制 Hive，使用类似SQL语言来访问HBase Pig，可以使用Pig Latin流式编程语言来操作HBase中的数据，和Hive类似，本质最终也是编译成MapReduce Job来处理HBase表数据，适合做数据统计 目录 HBase 简介 HBase 体系结构 HBase 数据模型 HBase 提供的接口 HBase 优化 HBase 用途 HBase 优化——配置优化1 zookeeper.session.timeout(df:180000ms) hbase.regionserver.handler.count(df:10) hbase.hregion.max.filesize(df:256M) hbase.regionserver.global.memstore.upperLimit/lowerLimit(0.4/0.35) hfile.block.cache.size(df:0.2) hbase.hstore.blockingStoreFiles(df:7) hbase.hregion.memstore.block.multiplier(df:2) 。。。 HBase 优化——配置优化2 写速度关键因素 Table region分布均衡； 单台region server的region数； hbase.regionserver.handler.count hbase.regionser