hadoop的大数据处理讲义-c2.2 google核心云计算技术2.pdf

海量数据处理中的云计算 C2. Google核心云计算技术（续） 北京邮电大学信息与通信工程学院 刘军 liujun@ 2014年春季学期 本节目录  走进Google  PageRank算法  Google核心云计算技术 – MapReduce – GFS – BigTable 第2页 BigTable数据模型  BigTable ：是一个经过排序后的分布式的、稀疏的、多维映射表 – 分布式：数据是分布式存储的 – 稀疏 ：列数可能很多，而某一行中可能只有少数列有数据 – 多维映射表：  数据索引由行关键字（Row Key ）、列关键字（Column Key ）和时间戳 （Time Stamp ）三个维度构成  数据以键/值映射的形式组织 ( row:string, column:string, time:int64 ) → string 第3页 BigTable示例  网站页面内容及其中超链接的解析 – t 、t 、t 三个时间点抓取的网页内容存储在contents列中 3 5 6 – 有两个网页包含了到网页的链接，分别是位于页面的超链接 文字CNN ，和位于my.look.ca页面的超链接文字CNN.com 第4页 BigTable表的展开 列族：contents 列族：anchor 行数 行关键字 版本 限定词： 限定词：my.look.ca t2 htmla2/html 1 com.bbc.www t1 htmla1/html t9 “CNN” t8 “CNN.com” 2 n.www t5 htmld4/html t4 htmlc3/html t3 htmlb2/html 第5页 直观感受BigTable的存储  面向列的存储 – 提高访问少数列的效率  整行扫描 vs. 单列读取 – 提高压缩比  杂 vs. 纯 第6页 BigTable系统架构 主控服务器 子表（Tablet ） 子表服务器  操作及管理数据表元数据  过大的数据表不利于存储和  数据服务器的基本单元  子表分配与监控 访问效率  数据以文件形式存储在  负载均衡控制  大表在水平方向上被分为多 GFS文件系统中