云计算关键技术.ppt

云计算关键技术;Page ? *虚拟化技术内容;MapReduce M;Divide and Conq;Parallelization;Common Theme?Pa;Managing Multip;Current ToolsPr;But , now Mapre;Typical problem;Mapreduce Frame;Mapreduce Frame;Shuffle Impleme;Partition and S;Example uses: d;Google MapReduc;MapReduce Opera;Execution overv;Execution overv;Fault Tolerance;Fault Tolerance;Refinement: Red;Refinement: Loc;Refinement: Ski;Compression of ;Hadoop MapReduc;History of Hado;分布式文件系统分布式文件系统特;**分布式文件系统的特点和基本;**分布式文件系统的特点和基本;**容错为了处理暂时的通信错误;**分布式文件系统的缓存缓存方;**分布式文件系统的缓存缓存的;**分布式文件系统的缓存更新策;**容错和可扩充性可用性与文件;**容错和可扩充性可用性与文件;**容错和可扩充性可用性与文件;**容错和可扩充性可扩充性设计;**容错和可扩充性可扩充性设计;HDFS（Hadoop Dis;Goals of HDFSVe;无标题;HDFS采用master/sl;Distributed Fil;NameNode Metada;DataNodeA Block;Block Placement;Page ? *在大多数情况下;Data Correctnes;NameNode Failur;Page ? *HDFS未实现;分布式数据库技术定义特点分类体;分布式数据库的定义分布式数据库;分布式数据库的特点物理分布性逻;分布式数据库的12条准则本地自;单个DBMS的本地运算不受多数;分布式数据库的分类按局部数据库;按分布式数据库系统的全局控制类;分布式数据库系统的体系结构全局;包括：局部DB、全局DB局部D;分片：又称为数据分割，有三种分;分布：根据需要将数据划分成逻辑;全复制式：全局数据有多个副本，;分布式数据库系统的模式结构全局;全局外模式：全局应用的用户视图;全局关系R的逻辑片段与物理影像;*分布式事务模型事务的ACID;*TC1TCnTMnTM1事务;*故障节点故障消息丢失网络故障;*两阶段提交阶段1（决定阶段）;*三阶段提交阶段1同两阶段方式;*协议的比较两阶段提交有阻塞的;HbaseHbase是一个分布;Page ? *;HBase历史2006年底由P;HBASE用例－WebTabl;逻辑视图Row KeyTime;RowKeyRow Key与n;数据模型－行每行数据有一可排序;数据模型－行Row KeyTi;数据模型－列列必须用‘族’(f;列族hbase表中的每个列，都;列族hbase表中的每个列，都;数据模型－列Row KeyTi;物理视图Row KeyTime;HTable小结Row Key;HBASE物理存储1 已经提到;4 HRegion是Hbase;5 HRegion虽然是分布式;Page ? *;HFile分为六个部分：Dat;HFILEPage ? *;HLogHLog(WAL lo;HBASE体系构架Page ?;HBASE系统构架Page ?;Page ? *;区域的管理区域服务器(Regi;特殊目录数据元数据(META);特殊目录数据“根”表(ROOT;区域服务器(Region Se;区域服务器－“写”写数据首先写;区域服务器－“读”区域服务器现;区域服务器－合并如果映射文件(;区域服务器－分割当区域文件大过;区域服务器－分割如果主服务器没;失效恢复由于检测没有心跳，主服;客户端连接到ZooKeeper;THANK YOU!Page