大数据平台构建（国家） 大数据平台构建（国家） HBase快照简介.docx

18.HBase快照简介 18.1快照的概念 HBase中的快照就是一份元信息的合集。Snapshot的实现不涉及到table实际数据的拷贝，仅仅拷贝一些元数据，比如组成table的region info，表的descriptor，还有表对应的HFile的文件的引用。 可以对table进行Snapshot，也可以利用快照Restore到Snapshot。 Snapshot可以在线做，也可以离线做。 快照是基于文件系统级别的。 快照与表的备份区别： HBase中存在的备份或克隆表的方法就是使用复制/导出(export/import)表或者在关闭表之后拷贝(distcp)HDFS中的所有HFile。 复制或导出是通过一系列工具调用MapReduce来扫描并复制表，这样会对RegionServer有直接的影响。关闭表会停止所有的读写操作，实际环境中往往无法接受。 相比之下HBase快照允许管理员不拷贝数据，而直接克隆一张表，这对region server产生的影响最小。将快照导出至其他集群不会直接影响到任何服务器；导出只是带有一些额外逻辑的群间数据同步。 18.2快照的优势 导出快照与复制/导出表除了更好地保持一致性外，主要的不同在于导出快照是在HDFS的层面操作的。 这意味着HMaster和域服务器与操作无关。因此不需要为不必要的数据创建缓存空间，也不会有扫描过程。 因为大量对象创建引起的GC暂停，对于HBase 来说主要性能影响就是DataNode额外的网络和磁盘负载。 18.3快照的原理 1.离线快照 离线方式是disabletable，由HBase Master遍历HDFS中的table metadata和hfiles，建立引用。 图18-1 离线快照原理 2．在线快照 在线方式是enabletable，snapshot的过程类似于两阶段提交，prepare和commit阶段。 HMaster收到snapshot命令后，作为coordinator，从meta region中取出表的region和对应的region server的信息，这些region server就作为第二阶段提交的participant，prepare阶段对region server本地表的region做快照存入HDFS的临时目录，commit阶段把HMaster把临时目录改成正确的目录。在此期间，HMaster和region server的数据共享通过ZK来完成。 图18-2 在线快照原理