云计算系列教程.pptVIP

如果映射文件(MapFile)数量超过阈值，区域服务器会进行一次合并(Compaction)01合并操作也周期性进行02合并可与区域服务器响应用户的读写请求并发进行03如果读写请求与合并区域相关，读写操作先挂起，直到合并操作完成04区域服务器－合并当区域文件大过阈值后，区域文件会按照行的方式对半进行分割(Split)操作1分割也作为一种请求被区域服务器处理2被分割区域先离线3区域服务器在元信息表中生成子表元信息4主服务器在得知分割操作进行后，将子表分配给新的区域服务器进行服务5被分割区域通过垃圾回收机制回收6区域服务器－分割每个表都有个名字，也称为标签（域，讨论范围）每个表有若干行，行有行键（也算是标识）****‘族’通过对表的管理操作进行定义加入“标签”不需要管理权限*区域的分布使得负载得以分布**HBASE内容提要为什么需要HBaseHTable的逻辑组织HBase的运行机制HBase与HDFSHBase的对外接口数据库系统已无法适应大型分布式数据存储的需要改良的关系数据库（副本、分区等）难于安装与维护关系模型对数据的操作使数据的存贮变得复杂引入HBASE的原因空间的扩展只需要加入存储结点使用‘表’的概念，但不同于关系数据库，不支持SQL实质上是一张极大的、非常稀疏的，存储在分布式文件系统上的表HBASE从设计理念上就为可扩展做好了充分准备02030401引入HBASE的原因HBase历史2006年底由PowerSet的ChadWalters和JimKellerman发起2008年成为ApacheHadoop的一个子项目现已作为产品被使用WorldLingoSOpenPlacesYahooAdobe0102030405存储抓取网页和相关信息每个页面对应一行，是个有百万行的大表表内容也要作为网页实时缓存被大量用户随机访问要基于此表进行分析与解析并由有哪些信誉好的足球投注网站引擎对关键字进行索引表需要并发地被众多网页抓取程序随机地访问以及更新数据HBASE用例－WebTable逻辑视图RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“html..“Text/htmlT5“html..“t3“html..“数据模型－行RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“html..“Text/htmlT5“html..“t3“html..“行键列列每行数据有一可排序的关键字和任意列项字符串、整数、二进制串甚至与串行化的结构都可以作为行键表按照行键的“逐字节排序”顺序对行进行有序化处理表内数据非常‘稀疏’，不同的行的列的数完全目可以大不相同数据模型－行可以只对一行上“锁”对行的写操作是始终是“原子”的数据模型－行列必须用‘族’(family)来定义物理上将同“族”数据存储在一起任意一列有如下形式“族：标签”其中，族和标签都可为任意形式的串数据可通过时间戳区分版本数据模型－列数据模型－列RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“html..“Text/htmlT5“html..“t3“html..“族标签物理视图RowKeyTimeStampColumn:ContentsCn.wwwT6“html..”T5“html..”T3“html..”RowKeyTimeStampColumn:AnchorCn.wwwT9Anchor:CNNT5Anchor:my.look.caCNN.COMRowKeyTimeStampColumn:mimeCn.wwwT6text/htmlHTable小结RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“html..“Text/htmlT5“