hbase基本原理探析.ppt

Hbase数据库基本原理;;HBase – 即Hadoop Database，是一个高可靠性、高性能、面向列、可伸 缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 Hbase是基于Google Bigtable开源实现。类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为 对应。 2006年底由PowerSet 的Chad Walters和Jim Kellerman 发起 2008年成为Apache Hadoop的一个子项目 现已作为产品被使用 Facebook Intel Yahoo 阿里巴巴 百度;Hbase简介;;Hbase特点;Hbase逻辑视图;;;;;;章节导读;物理模型;物理存储;物理存储;物理存储;物理存储;物理存储;HFile 分为6部分 Data Block 段-保存表中的数据，这部分可以被压缩。 Meta Block 段 (可选的)-保???用户自定义的kv对，可以被压缩。 File Info 段-Hfile的元信息，不被压缩，用户也可以在这一部分添加自己的元信息。 Data Block Index 段-Data Block的索引。每条索引的key是被索引的block的第一条记录的 Key。 Meta Block Index段 (可选的)-Meta Block的索引。 Trailer- 这一段是定长的。保存了每一段的偏移量，读取一个HFile时，会首先读取Trailer， Trailer保存了每个段的起始位置(段的Magic Number用来做安全check)，然后，DataBlock Index会被读取到内存中，这样，当检索某个key时，不需要扫描整个HFile，而只需从内存中 找到key所在的block，通过一次磁盘io将整个 block读取到内存中，再找到需要的key。 DataBlock Index采用LRU机制淘汰。 HFile的Data Block，Meta Block通常采用压缩方式存储，压缩之后可以大大减少网络IO和磁 盘IO，随之而来的开销当然是需要花费cpu进行压缩和解压缩。 目标Hfile的压缩支持两种方式：Gzip，Lzo。;;系统架构;Hbase vs Oracle;BigTable的LSM索引