云计算HadoopZooKeeper.ppt

Hadoop ZooKeeper 主要内容 ZooKeeper的数据模型 ZooKeeper的数据读写机制 ZooKeeper的使用方法 为什么需要ZooKeeper? 大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源、任务分配等） 目前，大部分应用需要开发私有的协调程序，缺乏一个通用的机制 协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器 ZooKeeper：提供通用的分布式锁服务，用以协调分布式应用（如为HBase提供服务） ZooKeeper的数据模型 层次化目录结构 命名符合常规文件系统规范， 不能包含/ 节点Znode可以包含数据与子 节点 客户端应用可在节点上设置 监视器 节点数据不支持部分读写， 而是一次性完整读写 Ephemeral节点 节点创建属性 Ephemeral 创建的节点不是持久节点 一旦与客户端的会话结束，节点自动删除 Sequence 创建节点时，编号自动加1 例如x-1,x-2,s-3,x-4等 ZooKeeper的读写机制 ZooKeeper是一个由多个Server组成的集群 一个Leader，多个Follower 每个Server都保存了一份数据副本 全局数据一致 分布式读写 更新请求转发，由Leader实施 使用ZooKeeper的约定 更新请求顺序执行 来自同一个Client的更新请求按其发送顺序依次执行 数据更新原子性 一次数据更新要么成功，要么失败。不存在部分数据写入成功或失败的情况 全局唯一数据视图 Client无论连接哪个Server，数据视图都是一致的 实时性 在一定时间范围内，Client能读到必威体育精装版数据 ZooKeeper的API String create(path, data, acl, flags) void delete(path, expectedVersion) Stat setData(path, data, expectedVersion) (data, Stat) getData(path, watch) Stat exists(path, watch) String[] getChildren(path, watch) void sync(path) Stat setACL(path, acl, expectedVersion) (acl, Stat) getACL(path) 包含监视器 调用参数均包含节点路径 对比：Chubby的API handle Open(path,…)? Close(handle,…)? GetContentsAndStat(handle,…), GetStat(handle), ReadDir(handle,…)? SetContents(handle), SetACL(handle,…)? Delete(path)? Acquire(), TryAcquire(), Release()? GetSequencer(), SetSequencer(), CheckSequencer()? 仅Open包含节点路径，生成handle供其他API使用 如何使用ZooKeeper？ 关于ZooKeeper的锁服务 这里的“锁”并非对ZooKeeper的资源加锁，用于对第三方资源加锁 用例 多个第三方分布式Server需要使用某第三方资源，谁获取了ZooKeeper中的独占锁，谁就可以使用第三方资源，否则等待 如何使用ZooKeeper？ Leader选举 用于在多个节点中选取主控，如GFS中对外服务Master节点的选取 1)getData(“/servers/leader”, true) 2)如果读取成功则从数据中获取leader信息，退出 3)读取失败，执行create(“.../servers/leader”, hostname, EPHEMERAL)（注意节点类型） 如果创建成功则自己成为leader，写入信息，退出 5)如果写入失败，则返回步骤1 getData设置了监视器，如果数据发生变化， 会重启上述流程 如何使用ZooKeeper？ 独占锁 如果分布式应用需要对某资源独占使用，可以申请独占锁 1)id = create(“.../locks/x-”, SEQUENCE|EPHEMERAL) 2)getChildren(“.../locks/”, false) 3)如果id是第一个节点，则获取独占锁，退出 4)exists(name of last child before id, true)（注意，设置了监视器） 5)如果id之前不存在节点，返回步骤2 6)等待通知 7)返回步骤2 有且仅有一个Client可以获取到独占锁 如何使用ZooKeeper？ 共享锁 1)