某电视台融合新闻生产及协同调度系统项目系统技术详细设计方案-3.pdfVIP

是什么，它只把存储文件是为二进制文件，也就是说，hbase的存储数据对

于HDFS文件系统是透明的。下面是HBase文件在HDFS上的存储意图。

HBaseHRegionser/ers集群中的所有的region的数据在服务器启动时都是被

打开的，并且在内冲初始化一些memstore,相应的这就在一定程度上加快系统

响应；而Hadoop中的block中的数据文件默认是关闭的，只有在需要的时候才

打开，处理完数据后就关闭，这在一定程度上就增加了响应时间。

Blockl:128MBlockl:128M

从根本上说，HBase能提供实时计算服务主要原因是由其架构和底层的数据

结构决定的，即由LSM-Tree+HTabler（egion分区）+Cache决定客户端可以直

接定位到要查数据所在的HRegionserer服务器，然后直接在服务器的一个

region上查找要匹配的数据，并且这些数据部分是经过cache缓存的。具体查询

流程如下图所：

具体数据访问流程如下：

1.Client会通过内部缓存的相关的-ROOT-中的信息和.META.中的信息直接

连接与请求数据匹配的HRegionserer；

2.然后直接定位到该服务器上与客户请求对应的Region,客户请求首先会

查询该Region在内存中的缓存MemstorefMemstore是一个按key排

序的树形结构的缓冲区)；

3.如果在Memstore中查到结果则直接将结果返回给Client；

4.在Memstore中没有查到匹配的数据，接下来会读已持久化的StoreFile

文件中的数据。前面的章节已经讲过，StoreFile也是按key排序的树形

结构的文件一一并且是特别为范围查询或block查询优化过的，；另外

HBase读取磁盘文件是按其基本I/O单元(即HBaseBlock)读数据的。

具体就是过程就是：

如果在BlockCache中能查到要造的数据则这届返回结果，否则就读去相应

的StoreFile文件中读取一block的数据，如果还没有读到要查的数据，就将该

数据block放到HRegionSerer的blockcache中，然后接着读下一block块儿的数

据，一直到这样循环的block数据直到找到要请求的数据并返回结果；如果将该

Region中的数据都没有查到要找的数据，最后接直接返回null,表没有找的匹

配的数据。当然blockcache会在其大小大于一的阀值(heapsize*

hfile.block.cache.size*0.85)后启动基于LRU算法的淘汰机制，将最老最不常用

的block删除。

2

l.l.l.l.l.lHbase高可用

Zookeeper集群

MasterMaster

主名点

备节点

节点1

RacklRack2Rack3RackX

当出现上图三种情况的高可用策略:

1.HDFS机架识别策略：当数据文件损