《Hadoop技术原理》课件——13.Zookeeper.pptxVIP

Hadoop技术原理Zookeeper

Zookeeper介绍01

Zookeeper简介01单点故障单点是指一个主节点；单点故障是指当只有一个主节点，且主节点宕机时，整个集群无法使用

Zookeeper简介02单点故障单点是指一个主节点；单点故障是指当只有一个主节点，且主节点宕机时，整个集群无法使用

Zookeeper简介03单点故障的解决方案:HAHadoop1.x：没有解决方案Hadoop2.x：HA：高可用性（HighAvailability）基本思想：多个主节点，一个节点Active，其他节点StandbyFailover：故障切换，一个主节点失效而无法运作时，另一个节点可自动接手原失效系统所执行的工作。依赖：都需要借助Zookeeper这个工具才能实现HA

Zookeeper简介04单点故障的解决方案:HAHA，Zookeeper也有单点故障Zookeeper集群后的HA

Zookeeper简介05ZooKeeper是一个高可用的分布式数据管理和协调框架，并且能够很好的保证分布式环境中数据的一致性。在越来越多的分布式系统（Hadoop、HBase、Kafka）中，Zookeeper都作为核心组件使用

Zookeeper简介06Zookeeper产生背景Google在系统的可靠性方面提出了中心化的组件Chubby—粗粒度锁服务，Chubby很好的解决了分布式开发的一致性问题；GoogleChubby采用paxos算法来实现可靠容错，Google的BigTable就运用了Chubby来保证数据的一致性的。但遗憾的是，GoogleChubby并不是开源的，我们只能通过其论文和其他相关的文档中了解具体的细节。值得庆幸的是，Yahoo！借鉴Chubby的设计思想开发了ZooKeeper，和Chubby一样，ZooKeeper采用paxos的变种来实现消息传输的一致性，Zookeeper开发了原子广播协议Zab来实现数据的一致性传输。

Zookeeper安装07Zookeeper安装模式

Zookeeper安装08Zookeeper安装步骤下载对应版本Zookeeper解压zookeeper安装包配置环境变量exportZOOKEEPER_HOME=/usr/app/zookeeper-3.4.14exportPATH=$ZOOKEEPER_HOME/bin:$PATH修改配置文件zoo.cfg集群模式下需要标识节点，创建并修改myid启动并验证

Zookeeper工作原理与数据模型02

Zookeeper工作原理01Paxos算法

Zookeeper工作原理02Paxos算法现在议会开始运作，所有议员一开始记事本上面记录的编号都是0。（1）有一个议员发了一个提议：将电费设定为1元/度。（2）他首先看了一下记事本，嗯，当前提议编号是0。（3）那么他的这个提议的编号就是1，于是他给所有议员发消息：1号提议，设定电费1元/度。（4）其他议员收到消息以后查了一下记事本，哦，当前提议编号是0，这个提议可接受，于是他记录下这个提议并回复：我接受你的1号提议，同时他在记事本上记录：当前提议编号为1。（5）发起提议的议员收到了超过半数的回复，立即给所有人发通知：1号提议生效！（6）收到的议员会修改他的记事本，将1号提议由记录改成正式的法令，当有人问他电费为多少时，他会查看法令并告诉对方：1元/度。

Zookeeper工作原理03Paxos算法冲突的解决：假设总共有三个议员S1-S3，S1和S2同时发起了一个提议：（1）1号提议，设定电费。（2）S1想设为1元/度，S2想设为2元/度。（3）结果S3先收到了S1的提议，于是他做了和前面同样的操作。（4）紧接着他又收到了S2的提议，结果他一查记事本，咦，这个提议的编号小于等于我的当前编号1，于是他拒绝了这个提议：对不起，这个提议先前提过了。（5）于是S2的提议被拒绝，S1正式发布了提议：1号提议生效。（6）S2向S1或者S3打听并更新了1号法令的内容，然后他可以选择继续发起2号提议。

Zookeeper工作原理04Zab算法读数据的场景普通民众甲到某个议员S1那里询问当前的电费是多少，议员拿出他的记事本，查到当前的编号PID是1，电费是1元/度，并告诉他。同时声明：“数据不一定是必威体育精装版的，想要必威体育精装版的数据？等我找打电话给‘总统’同步(Sync)一下再告诉你”。写数据的场景普通民众乙到某个议员S2那里反映电费太贵，能否分时段收费，议员S2让他在办公室等着，自己将问题反映给了总统，总统询问所有议员的意见，多数议员表示支持分时段收费，白天0.9元/度，晚上1元/度，于是总统发表声明。普通民众乙拿到必威体育精装版决议。“总统”离开场景因为某些情况，“总统”缺失，议员各自发