大数据走向云计算 (9).ppt

第9章 分布式锁 设计并实现了分布式锁服务系统，这是一个类似于提供全文件读写的分布式文件系统的结构，它设计的目标并非提供海量数据的存储，而是用于提供具有高可靠性和高可用性的锁服务，同时可以方便高效地信息发布机制。 针对分布式应用的分布式协作服务，zookeeper的开发动机就是为了减轻分布式应用从头开发协作服务的负担。 9.1 ZooKeeper基本概述 ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ZooKeeper是以Fast Paxos算法为基础的，paxos算法存在活锁的问题，即当有多个proposer交错提交时，有可能互相排斥导致没有一个proposer能提交成功，而Fast Paxos作了一些优化，通过选举产生一个leader，只有leader才能提交propose，具体算法可见Fast Paxos。 9.2 Zookeeper角色 ZooKeeper是作为分布式应用建立更高层次的同步（synchronization）、配置管理 （Configuration Management）、群组（groups）以及名称服务（naming）。 同步队列的流程图 9.3 ZooKeeper 接口与编程 Zookeeper中提供了一组基于Java的API，通过org.apache.zookeeper.ZooKeeper类创建一个实例对象，连接到ZooKeeper服务器，接着调用这个类所提供的接口来和服务器进行交换。 ZKOperations()函数为所定义的对节点的一系列操作。其包括：创建ZooKeeper节点、查看节点、修改节点数据、查看修改后的节点数据、删除节点、查看节点是否存在。 ZooKeeper中提供了一组基于Java的API，通过org.apache.zookeeper.ZooKeeper类创建一个实例对象，连接到ZooKeeper服务器然后调用这个类所提供的接口来和服务器进行交互。 9.4 性能 ZooKeeper具有很高的性能，雅虎的ZooKeeper研发团队作了相关测试。 ZooKeeper读写吞吐量测试效果图 9.5 ZooKeeper的典型应用 9.5.1 数据发布与订阅应用 发布与订阅模型，即所谓的配置中心，顾名思义就是发布者将数据发布到ZooKeeper节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，服务式服务框架的服务地址列表等就非常适合使用。 9.5.2 负载均衡应用 这里说的负载均衡是指软负载均衡。在分布式环境中，为了保证高可用性，通常同一个应用或同一个服务的提供方都会部署多份，达到对等服务。而消费者就须要在这些对等的服务器中选择一个来执行相关的业务逻辑，其中比较典型的是消息中间件中的生产者，消费者负载均衡。 9.5.3 分布式通知 ZooKeeper中特有watcher注册与异步通知机制，能够很好的实现分布式环境下不同系统之间的通知与协调，实现对数据变更的实时处理。使用方法通常是不同系统都对ZooKeeper上同一个znode进行注册，监听znode的变化（包括znode本身内容及子节点的），其中一个系统update了znode，那么另一个系统能够收到通知，并作出相应处理。