大数据存储与处理-第五讲.ppt

逻辑表到物理存储－HFile ?→ ?Block ? 逻辑表到物理存储－HFile ?→ ?HDFS ?Block ? ? 速度 ? 速度的关键 ? !? 第1步：快速找到RegionServer ? !? 第2步：快速找到HFile ? ? 第1步：定位RegionServer ? !? 如何通过表名和行关键字找到所在的RegionServer？ ? 定位RS－找到Region（.META.表） ? !? .META.表 ? –? 存储了所有表的元数据信息 ? –? 支持以表名和行关键字（或关键字的范围）查找到对应的RegionServer ? ? 行关键字：表名、此Region起始关键字和Region的id ? –? info:regioninfo：记录Region的一些必要信息 ? –? info:server：Region所在的RegionServer的地址和端口 ? –? infor.serverstartcode：RegionServer对应.META.表持有进程的启动时间 ? 第32页 ? 行关键字 table, ?region ?start ?key, ?region ?id 列1 info:regioninfo 列2 info:server 列3 info:serverstartcode 定位RS－找到.META.（-ROOT-表） ? !? -ROOT-表 ? –? 根数据表，存放了.META.表的HRegionServer信息，存放在Zookeeper服务器 ? –? -ROOT-表的Region不会被拆分，永远只有一个 ? –? 客户端首次访问获取-ROOT-表的位置并存入缓存 ? –? 行关键字：每个.META.表的Region索引 ? –? info:regioninfo：记录Region的一些必要信息 ? –? info:server：Region所在的RegionServer的地址和端口 ? –? info.serverstartcode：RegionServer对应.META.表持有进程的启动时间 ? 行关键字 .META. ?Region ?Key 列1 info:regioninfo 列2 info:server 列3 info:serverstartcode 第2步－快速找到HFile ? 定位HFile－Memstore与Store对StoreFile的索引 ? !? B+ ?tree（RDMBS时代的索引表） ?→ ? ?LSM ?tree ? –? 查询优化 ?VS. ?插入优化 ? –? 内存 ?VS. ?磁盘 ? /viewdoc/summary?doi=4.2782 ? 定位HFile－Memstore带来的问题 ? !? memStore带来的问题：RegionServer宕机怎么办？ ? –? Write-Ahead ?Logging ?（WAL）+HLog ? 本节目录 ? !? 为什么需要HBase ? !? HBase特性及实现原理 ? !? Hbase的部署与操作流程 ? HBase典型物理部署 ? !? !? MasterServer控制节点 ? –? HBase的HMaster ? –? HDFS的NameNode ? –? MapReduce的JobTracker ? RegionServer ? –? R、M1、M2存放-ROOT-表 和.META.表 ? –? 数据表存放在Region ? Server ?U1至Un中 ? –? Region ?Server ?U1至Un部署 了HDFS的DataNode组件以 提高数据访问效率 ? –? Region ?Server ?U1至Un运行 MapReduce作业时的 TaskTracker ? HBase读/写数据流程 ? !? Client首次读取tableA中第1行数据： ? –? 从Zookkeeper中获取-ROOT-表的Region服务器R（步骤①） ? –? 从Region ?Server ?R中根据表的名称索引找到.META.表所在的Region服务器M1（步骤②） ? –? C