《Hadoop技术原理》课件——14.消息队列Kafka.pptxVIP

Hadoop技术原理消息队列Kafka

Kafka简介01

Kafka概述01消息系统消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，但不担心如何共享它。分布式消息传递基于可靠消息队列的概念。消息在客户端应用程序和消息传递系统之间异步排队。有两种类型的消息模式可用-一种是点对点，另一种是发布-订阅(pub-sub)消息系统。大多数消息模式遵循pub-sub。点对点消息系统发布-订阅消息系统

Kafka概述02KafkaApacheKafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。Kafka适合离线和在线消息消费。Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失。Kafka构建在ZooKeeper同步服务之上。它与ApacheStorm和Spark非常好地集成，用于实时流式数据分析。

Kafka概述03Kafka特点可靠性：Kafka是分布式，分区，复制和容错的。可扩展性：Kafka消息传递系统轻松缩放，无需停机。耐用性：Kafka使用分布式提交日志，这意味着消息会尽可能快地保留在磁盘上，因此它是持久的。性能：Kafka对于发布和订阅消息都具有高吞吐量。即使存储了许多TB的消息，它也保持稳定的性能。

Kafka概述04Kafka应用场景指标-Kafka通常用于操作监控数据。这涉及聚合来自分布式应用程序的统计信息，以产生操作数据的集中馈送。日志聚合解决方案-Kafka可用于跨组织从多个服务收集日志，并使它们以标准格式提供给多个服务器。流处理-流行的框架(如Storm和SparkStreaming)从主题中读取数据，对其进行处理，并将处理后的数据写入新主题，供用户和应用程序使用。Kafka的强耐久性在流处理的上下文中也非常有用。

Kafka基础05Kafka基本概念

Kafka基础06Kafka基本概念message(消息)Kafka的基本数据单元被称为message(消息)，为减少网络开销，提高效率，多个消息会被放入同一批次(Batch)中后再写入。Topics（主题）属于特定类别的消息流称为主题。数据存储在主题中。主题被拆分成分区。对于每个主题，Kafka保存一个分区的数据。每个这样的分区包含不可变有序序列的消息。分区被实现为具有相等大小的一组分段文件。Partitions(分区)Kafka的消息通过Topics(主题)进行分类，一个主题可以被分为若干个Partitions(分区)，一个分区就是一个提交日志(commitlog)。消息以追加的方式写入分区，然后以先入先出的顺序读取。Kafka通过分区来实现数据的冗余和伸缩性，分区可以分布在不同的服务器上，这意味着一个Topic可以横跨多个服务器，以提供比单个服务器更强大的性能。

Kafka基础07Kafka基本概念生产者（Producers）生产者负责创建消息。一般情况下，生产者在把消息均衡地分布到在主题的所有分区上，而并不关心消息会被写到哪个分区。如果我们想要把消息写到指定的分区，可以通过自定义分区器来实现。消费者（consumers）消费者是消费者群组的一部分，消费者负责消费消息。消费者可以订阅一个或者多个主题，并按照消息生成的顺序来读取它们。消费者通过检查消息的偏移量(offset)来区分读取过的消息。偏移量是一个不断递增的数值，在创建消息时，Kafka会把它添加到其中，在给定的分区里，每个消息的偏移量都是唯一的。消费者把每个分区最后读取的偏移量保存在Zookeeper或Kafka上，如果消费者关闭或者重启，它还可以重新获取该偏移量，以保证读取状态不会丢失。一个分区只能被同一个消费者群组里面的一个消费者读取，但可以被不同消费者群组中所组成的多个消费者共同读取。多个消费者群组中消费者共同读取同一个主题时，彼此之间互不影响

Kafka基础08Kafka基本概念Brokers一个独立的Kafka服务器被称为Broker。Broker接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。Broker为消费者提供服务，对读取分区的请求做出响应，返回已经提交到磁盘的消息。

Kafka安装使用02

Kafka集群架构01

Kafka工作流程02发布-订阅消息的工作流程生产者定期向主题发送消息。Kafka代理存储为该特定主题配置的分区中的所有消息。它确保消息在分区之间平等共享。如果生产者发送两个消息并且有两个分区，Kafka将在第一分区中存储一个消息，在第二分区中存储第二消息。消费者订阅特定主题。一旦消费者订阅主题，Kafka将向消费