《基于新信息技术的Hadoop大数据技术》 课件 项目4--6 Zookeeper分布式协调服务精品、 搭建HDFS分布式集群、 搭建YARN分布式集群.pptx

Hadoop大数据技术——Zookeeper分布式协调服务

湖南软件职业技术大学Zookeeper架构设计与工作原理

定义：zookeeper一个分布式的开源的协调服务框架,服务于分布式应用。它暴露了一系列的原语操作服务,因此分布式应用能够基于这些服务,构建出更高级别的服务,比如同步,配置管理,分组和命名服务。zookeeperzookeeper设计上易于编码,数据模型构建在我们熟悉的树形结构目录风格的文件系统中。zookeeper运行在Java中,同时支持Java和C语言。Zookeeper是什么湖南软件职业技术大学

最终一致性客户端不论连接到哪个Server，展示给它的都是同一个视图，这是Zookeeper最重要的特点。Zookeeper的特点可靠性Zookeeper具有简单、健壮、良好的性能。如果一条消息被一台服务器接收，那么它将被所有的服务器接收。实时性Zookeeper保证客户端将在一个时间间隔范围内，获得服务器的更新信息或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要必威体育精装版数据，应该在读数据之前调用sync()接口。等待无关慢的或者失效的客户端不得干预快速的客户端的请求，这就使得每个客户端都能有效地等待。原子性对Zookeeper的更新操作要么成功，要么失败，没有中间状态。顺序性它包括全局有序和偏序两种。全局有序是针对服务器端，例如，在一台服务器上，消息A在消息B前发布，那么所有服务器上的消息A都将在消息B前被发布。偏序是针对客户端，例如，在同一个客户端中，消息B在消息A后发布，那么执行的顺序必将是先执行消息A然后在是消息B。所有的更新操作都有严格的偏序关系，更新操作都是串行执行的，这一点是保证ZooKeeper功能正确性的关键。。

Zookeeper的基本架构与工作原理Zookeeper服务自身组成一个集群（2n+1个服务节点最多允许n个失效）。Zookeeper服务有两个角色：一个是主节点（Leader），负责投票的发起和决议，更新系统状态；另一种是从节点（Follower），用于接收客户端请求并向客户端返回结果，在选主过程（即选择主节点的过程）中参与投票。主节点失效后，会在从节点中重新选举新的主节点。湖南软件职业技术大学

Zookeeper数据模型zookeeper的数据结构与linux文件系统很类似，与Linux中的文件系统路径不同。Zookeeper中的路径必须是绝对路径，而且每条路径只有唯一的一种表示方式（/app1/a）。湖南软件职业技术大学

节点类型当创建临时节点的客户端会话结束时，Zookeeper会将该临时节点删除。临时节点不可以有子节点，即使是短暂的子节点。持久节点不依赖与客户端会话，只有当客户端明确要删除该持久节点时才会被真正删除。临时节点Zookeeper数据模型Znode的类型在创建时就确定，之后不能修改。持久节点湖南软件职业技术大学

Zookeeper数据模型观察机制客户端可以在znode上设置watcher，当节点状态发生改变时将会触发watcher所对应的操作。当watcher被触发时，ZooKeeper将会向客户端发送且仅发送一条通知，因为watcher只能被触发一次，这样可以减少网络流量。为了能够多次收到通知，客户端需要重新注册所需的watcher。湖南软件职业技术大学Zookeeper服务/spider客户端客户端客户端监视器注册注册注册

Thanks

Hadoop大数据技术——搭建HDFS分布式集群

湖南软件职业技术大学HDFS架构设计与工作原理

HDFS是什么HDFS源于Google在2003年10月份发表的GFS（GoogleFileSystem）论文。它其实就是GFS的一个克隆版本。湖南软件职业技术大学HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。《TheGoogleFileSystem》2003年

HDFS产生背景随着数据量的不断增大，最终会导致数据在一个操作系统的磁盘中存储不下。那么为了存储这些大规模数据，就需要将数据分配到更多操作系统管理的磁盘中进行存储，但是这样会导致数据的管理和维护非常不方便，所以