Zookeeper统一配置管理报告.ppt

杨旆 Zookeeper统一配置管理 概述 Zookeeper的介绍与部署使用 Zookeeper的配置管理场景与解决方案 百度Disconf的介绍与部署使用 关于配置管理的细节讨论 示例程序的演示 Zookeeper介绍 Zookeeper介绍 Zookeeper总体结构 Zookeeper服务自身组成一个集群(2n+1个服务允许n个失效)。Zookeeper服务有两个角色，一个是leader，负责写服务和数据同步，剩下的是follower，提供读服务，leader失效后会在follower中重新选举新的leader。 客户端可以连接到每个server，每个server的数据完全相同。 每个follower都和leader有连接，接受leader的数据更新操作。 Server记录事务日志和快照到持久存储。 大多数server可用，整体服务就可用。 Zookeeper介绍 数据结构 Zookeeper表现为一个分层的文件系统目录树结构，不同于文件系统的是，节点可以有自己的数据，而文件系统中的目录节点只有子节点。每个节点称为znode。 Zookeeper介绍 通知机制 ZooKeeper支持一种Watch操作，Client可以在某个ZNode上设置一个Watcher来注册监听它关心的目录节点，并且Watch该ZNode上的变化。如果该ZNode上有相应的变化（数据改变、被删除、子目录节点增加删除），就会触发这个Watcher，把相应的事件通知给设置Watcher的Client。需要注意的是，ZooKeeper中的Watcher是一次性的，即触发一次就会被取消，如果想继续Watch的话，需要客户端重新设置Watcher。 Zookeeper介绍 Zookeeper介绍 Zookeeper介绍 Zookeeper部署和使用 Zookeeper部署和使用 Zookeeper部署和使用 Zookeeper部署和使用 Zookeeper部署和使用 Zookeeper部署和使用 Zookeeper配置管理 简介 配置管理在某些场合称“数据发布与订阅”，顾名思义就是将数据发布到Zookeeper节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，地址列表等就非常适合使用。 场景描述 配置的管理在分布式应用环境中很常见，一个带配置的服务程序，部署在若干台机器上，如果配置发生了变化，接下去要进行的操作是停止所有机器上的该程序，修改每一台机器上该程序对应的配置文件。这个情景会有两个问题：第一，机器多了，逐个修改配置是一件不合理的运维；第二，配置一般是程序启动时读入的，所以配置修改后，程序应该重启。 Zookeeper配置管理 技术原理 ZooKeeper服务器集群存储配置信息,在服务器上创建一个保存数据的节点(创建节点操作);配置管理程序提供一个配置管理的UI界面或者命令行方式,用户通过配置界面修改ZooKeeper服务器节点上配置信息(设置节点数据操作);分布式应用连接到ZooKeeper集群上(创建ZooKeeper客户端操作),监听配置信息的变化(使用获取节点数据操作,并注册一个watcher)。当节点中的配置信息发生变化，所有监听该节点的客户端会收到zookeeper的通知，然后从 Zookeeper 获取新的配置信息动态加载到系统中。 Zookeeper配置管理 Zookeeper配置管理 优势 简单。配置统一管理，方便运维；用户只要修改配置,无需进行其他任何操作,配置自动生效。 可靠。ZooKeeper服务集群具有无单点失效的特性,使整个系统更加可靠，即使ZooKeeper 集群中的一台机器失效,也不会影响整体服务,更不会影响分布式应用配置信息的更新。 实时。ZooKeeper的数据更新通知机制,可以在数据发生变化后,立即通知给分布式应用程序,具有很强的变化响应能力。 劣势 最终一致性。配置的更新并不能做到强一致性，因为网络延迟等原因，只能做到最终一致性。 Disconf介绍 * 简介 Disconf（Distributed Configuration Management Platform ）是百度前端技术部研发的基于Zookeeper的分布式配置管理平台，它是专注于各种系统的配置管理的通用组件/通用平台。 使用Disconf，可以对所有业务系统的配置进行统一管理，远程对配置进行动态更新，免去重复发布的各种问题。 目前项目放在github上，并开放源代码。 Disconf介绍 重要功能特点 支持配置（配置项+配置文件）的分布式化管理 配置发布统一化 配置发布、更新统一化（云端存储、发布）:配置存储在云