HBase SI -- 实现HBase ACID理论.pdf

这根手指只是在帮它授粉 ，但看了蛋疼…… HBase SI 一个实现HBase ACID 的理论 带墨镜的 番茄哥 文档修订记录 版本编号 修订时间 修订说明 作者 审核 第 2 页 共 12 页 目 录 文档修订记录2 1. 前言4 1.1. 文档说明4 1.2. 目标读者4 2. HBase SI 5 第 3 页 共 12 页 1. 前言 1.1. 文档说明 事务性是一个共性的问题，在大数据的发展中，HBase 已经有了不少事务框架，让我等有志青 年来看看几个典型的框架及其实现原理吧。 HBase SI，这个框架来自于一个叫做Zhang Chen 的人在2011 年发表的一篇论文。 从某种意义上讲，HBase SI 还不成熟，有不少缺点，但是Zhang Chen 提出了一种分布式事务实 现的新思路——用两个全局的队列来控制事务的提交，而没有用传统的两阶段提交。 所以我觉得还是有必要了解一下HBase SI 。 SI 表示Snapshot Isolation 。 1.2. 目标读者 架构师、程序员、测试人员、热爱妹子的猥琐大叔、看金鱼的怪叔叔、不可救药的腐女、屌丝、 宅基、各种非人类、外星生命体等爱好大数据的、热衷于为大数据生态环境卖萌的优秀青年。 第 4 页 共 12 页 2. HBase SI HBase SI 是HBase 的一个事务框架，它被设计成一套客户端的API ，不需要对HBase 中现有的 数据做任何改动。它用了几张额外的 HBase 表来保存事务的源数据。HBase SI 也采用了 Snapshot Isolation ，但它的特点是它没有使用传统的两阶段提交来解决分布式事务的问题，而是采用了一种新 的方法。 关于Snapshot Isolation，我就不多做介绍了。可以百度，或者看我之前的文章“Percolator -- 谷 歌如何实现大数据的事务”。 这种新方法，让人比较蛋疼。 2.1. HBase SI 的业务背景 Zhang Chen 没有说任何关于业务的字眼，但是我在他的另外一篇文章“Enhancing Data Processing on Clouds with Hadoop/HBase ”中，发现他实际上要解决的是云计算的数据处理问题，他在上述的文 章中除了HBase SI，还提及了一个基于Hadoop/HBase 的工作流，目前工作流并不在我的研究范围内， 所以不做介绍了。 云计算的数据处理，单从字眼看，看不出任何业务背景。 2.2. 事务源数据的设计 HBase SI 使用了几张HBase 表来存放事务的源数据：  三张Counter tables，计数表  CommitRequestQueue，作为提交事务请求的Queue  CommitQueue，作为可以提交的a queue for transactions that are cleared to commit  Committed table，已经完成提交的表 第 5 页 共 12 页 2.2.1. 计数表 Counter tables 作为全局的计数器，每个表都是一行记录，只有一列，HBase 的 incrementColumnValue 方法