第12讲 控制策略与保障技术1.pptx

第12讲控制策略与保障技术1莫同motong@

上一讲回顾HadoopHDFSMapReduce实现过程Hadoop扩展Yarn、Hbase、Pig、HiveSpark迭代、RDDStorm拓扑Kafka消息发布、消费机制PregelBSP分布式处理框架HadoopHadoop扩展SparkStormKafkaPregel

内容提要CAP理论主从机制PaxosPBFTGossip

内容提要CAP理论主从机制PaxosPBFTGossip

CAP理论如何保障系统能够正确的行使其功能？硬件损坏节点掉线网络延迟…

CAP理论相关需求正确性——结果正确可靠性——各种情况下工作正常网络延迟并发节点失效高效性——实现逻辑简单实现逻辑复杂导致本身的实现效率低下分布式保障节点往往是负载最高的节点只承担分布式保障任务，不承担业务处理

CAP理论分布式环境下的CAP理论一致性（Consistency）：在分布式系统中的所有数据备份，在同一时刻是否同样的值。可用性（Availability）：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求。分区容忍性（Partitiontolerance）：集群整体能够正常行使服务，那么是否允许某些节点无法传递消息或者消息丢失。

CAP理论分布式环境下的CAP理论a=1a=1req1:a=2req2:a=?Node1Node2AC?!P:A(req2returns),C(a=2)?cannotlosemsgCP?!A:C(a=2),P(losemsg)?req2needtostalluntilmsgarrivesAP?!C:A(req2returns),P(losemsg)?a=1inconsistentmsg

CAP理论分布式环境下的CAP理论一致性（Consistency）：在分布式系统中的所有数据备份，在同一时刻是否同样的值。可用性（Availability）：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求。分区容忍性（Partitiontolerance）：集群整体能够正常行使服务，那么是否允许某些节点无法传递消息或者消息丢失。3选2的矛盾！如何通过机制保障CAP的实现

CAP理论分布式环境下的CAP理论通过冗余和容错机制，保障系统能够继续工作一主多辅的架构主节点的热备、定期写入检查点辅节点的交叉冗余心跳与容错容错：避免数据（操作）丢失通过一致性保障机制，保障冗余数据相同

CAP理论一致性保持问题分布式条件下，需要保持多个节点数据的一致正确的写写的内容被记录（避免未写上）后写覆盖前写（分好先后）正确的读写的正确——读的正确并发读不会导致不一致问题有写有读的时候，保证次序正确

CAP理论DIY——火车票购票有两台机器，分别存储车票数据用户可以分别连接某一台机器进行购票如果两个用户分别在不同机器上同时购买同一张票会发生什么？

CAP理论最简单的一种机制保持所有内容一致类似冗余备份式强一致性实现逻辑简单效率较低等所有反馈都到来才认为写成功时间以最慢的为准某一节点失效造成整个集群不可用

CAP理论常见的一致性保持策略AllOneQuorum强一致性：任何节点任何时间数据都是一致最终一致性：可以出现一段各个节点数据不同步导致系统处理不一致的时间，系统会提供一些工具来使数据更新被最终同步到所有相关节点

CAP理论One定期将整体内容进行存储（快照、检查点）对修改操作进行记录（日志、AOF）某一时刻，主、副节点可能不一致但最终，主节点发生的操作在副节点上将会完整重现副节点最终与主节点保持一致

CAP理论QuorumprotocolN=numberofnodesthatstoredataW=numberofsuccessfulWRITEsinaPUTrequestR=numberofsuccessfulREADsinaGETrequestW+RNWN/2

CAP理论quorumprotocolclienta=2a=2a=2a=2a=1a=1a=1writereadN=3W=3a=2

CAP理论quorumprotocolclienta=2a=2a=2a=1a=1a=1writereadN=3W=2a=2

CAP理论quorumprotocolclienta=2a=2a=2a=1a=1a=1writereada=2a=？N=3R=2

CAP理论quorumprotocol优点分布式条件下，不用等所有反馈都到来才认为写成功等待所有反馈的话，时间以最慢的为准当前方式以时间第k快的为准有效避免因为某一节点失效造成整个集群不可用实现方式简单高效保持全局时间一致（向