《通信数据分析与实战》课件——第六章 Kafka 分布式发布订阅消息系统.pptxVIP

通信数据分析与实战Kafka分布式发布订阅消息系统第六章第1节

2知道消息传递模式熟悉Kafka的核心组件学习目标TARGET

消息传递模式简介一个消息系统负责将数据从一个应用程序传递到另外一个应用程序中，应用程序只关注数据，无需关注数据在多个应用之间是如何传递的，分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。消息系统有两种主要消息传递模式，分别是点对点消息传递模式和发布订阅消息传递模式。

消息传递模式简介1.倒排索引介绍1.倒排索引介绍1.点对点消息传递模式点对点消息传递模式结构中，消息是通过一个虚拟通道进行传输的，生产者发送一条数据，消息将持久化到一个队列中，此时将有一个或多个消费者会消费队列中数据，但是一条消息只能被消费一次，且消费后的消息会从消息队列中删除，因此，即使有多个消费者同时消费数据，数据都可以被有序处理。

消息传递模式简介1.倒排索引介绍2.发布订阅消息传递模式在发布订阅模式中，发布者用于发布消息，订阅者用于订阅消息，发布订阅模式可以有多种不同的订阅者，发布者发布的消息会被持久化到一个主题中，这与点对点模式不同的是，订阅者可订阅一个或多个主题，订阅者可读取该主题中所有数据，同一条数据可被多个订阅者消费，数据被消费后也不会立即删除。

Kafka的概述Kafka是由Apache软件基金会开发的一个开源流处理平台，它由Scala和Java语言编写，是一个基于Zookeeper系统的分布式发布订阅消息系统，该项目的设计初衷是为实时数据提供一个统一、高通量、低等待的消息传递平台。

Kafka的概述应用程序A应用程序B高度解耦高吞吐低延迟扩展性持久性容错性多语言

Kafka的核心组件组件名称相关说明Topic特定类别消息流称为主题，数据存在主题中，主题被拆分成分区Partition主题的数据分割为一个或多个分区，每个分区的数据使用多个segment文件存储，分区中的数据是有序的Offset每个分区消息具有的唯一序列标识Replica副本只是一个分区的备份，它们用于防止数据丢失Producer生产者即数据发布者，该角色将消息发布到Kafka集群主题中

Kafka的核心组件组件名称相关说明Consumer消费者可从Broker中读取数据，可消费多个主题数据Broker每个Kafka服务节点都为Broker，Broker接收消息后，将消息追加到segment文件中Leader负责分区的所有读写操作Follower跟随领导指令，若Leader发生故障则选一个Follower为新LeaderConsumerGroup实现一个主题消息的广播和单播的手段

Kafka的核心组件生产者主题分区一分区二分区三offsetoffsetoffset服务器节点备份消费组消费者一消费者二消费者三

11小结知道消息传递模式熟悉Kafka的核心组件

通信数据分析与实战Kafka分布式发布订阅消息系统第六章第2节

13熟悉Kafka的工作原理学习目标TARGET

Kafka工作原理生产者向Kafka集群中生产消息。Producer是消息的生产者，通常情况下，数据消息源可是服务器日志、业务数据及Web服务数据等，生产者采用推送的方式将数据消息发布到Kafka的主题中，主题本质就是一个目录，而主题是由PartitionLogs（分区日志）组成，每条消息都被追加到分区中。1.生产者生产消息过程

Kafka工作原理1.生产者生产消息过程1Producer先读取Zookeeper的“/brokers/.../state”节点中找到该Partition的Leader。2Producer将消息发送给Leader。3Leader负责将消息写入本地分区Log文件中。

Kafka工作原理1.生产者生产消息过程4Follower从Leader中读取消息，完成备份操作。5Follower写入本地Log文件后，会向Leader发送Ack，每次发送消息都会有一个确认反馈机制，以确保消息正常送达。6Leader收到所有Follower发送的Ack后，向Producer发送Ack，生产消息完成。

Kafka工作原理1.生产者生产消息过程

Kafka工作原理2.消费者消费消息过程Kafka采用拉取模型，由消费者记录消费状态，根据主题、Zookeeper集群地址和要消费消息的偏移量，每个消费者互相独立地按顺序读取每个分区的消息，消费者消费消息的流程图如下所示。

19小结熟悉Kafka的工作原理

通信数据分析与实战Kafka分布式发布订阅消息系统第六章第3节

21掌握Kafka的安装和启动掌握Kafka基于命令行的使用学习目标TARGET

Kafka集群部署与测试1.安装Kafka1下载Kafka