Kafka分区分配策略PartitionAssignmentStrategy-过往记忆.PDF

Kafka分区分配策略(Partition Assignment Strategy) Spark大数据博客 - Kafka分区分配策略(Partition Assignment Strategy) 问题 用过 Kafka 的同学应该都知道，每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息，我们也可能会启动多个 Consumer 去消费，而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 对应分区中的数据。我们又知道，Kafka 存在 Consumer Group 的概念，也就是 group.id 一样的 Consumer，这些 Consumer 属于同一个Consumer Group，组内的所有消费者协调在一起来消费订阅主题(subscribed topics)的所有分区(partition) 。当然，每个分区只能由同一个消费组内的一个consumer来消费。那么问题来了，同一个 Consumer Group 里面的 Consumer 是如何知道该消费哪些分区里面的数据呢？ 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 如上图，Consumer1 为啥消费的是 Partition0 和 Partition2，而不是 Partition0 和 Partition3？这就涉及到 Kafka 内部分区分配策略（Partition Assignment Strategy）了。 在 Kafka 内部存在两种默认的分区分配策略：Range 和 RoundRobin。当以下事件发生时，Kafka 将会进行一次分区分配： 1 / 4 Kafka分区分配策略(Partition Assignment Strategy) Spark大数据博客 - 同一个 Consumer Group 内新增消费者 消费者离开当前所属的Consumer Group，包括shuts down 或 crashes 订阅的主题新增分区 将分区的所有权从一个消费者移到另一个消费者称为重新平衡（rebalance），如何rebalance就 涉及到本文提到的分区分配策略。下面我们将详细介绍 Kafka 内置的两种分区分配策略。本文假设我们有个名为 T1 的主题，其包含了10个分区，然后我们有 两个消费者（C1，C2）来消费这10个分区里面的数据，而且 C1 的 num.streams = 1，C2 的 num.streams = 2。 Range strategy Range策略是对每个主题而言的，首先对同一个主题里面的分区按照序号进行排序，并对消费者 按照字母顺序进行排序。在我们的例子里面，排完序的分区将会是0, 1, 2, 3, 4, 5, 6, 7, 8, 9；消费者线程排完序将会是C1-0, C2-0, C2-1。然后将partitions的个数除于消费者线程的总数来 决定每个消费者线程消费几个分区。如果除不尽，那么前面几个消费者线程将会多消费一个分区 。在我们的例子里面，我们有10个分区，3个消费者线程， 10 / 3 = 3，而且除不尽，那么消费者线程 C1-0 将会多消费一个分区，所以最后分区分配的结果看起来是这样的： C1-0 将消费 0, 1, 2, 3 分区 C2-0 将消费 4, 5, 6 分区 C2-1 将消费 7, 8, 9 分区 假如我们有11个分区，那么最后分区分配的结果看起来是这样的： C1-0 将消费 0, 1, 2, 3 分区 C2-0 将消费 4, 5, 6, 7 分区 C2-1 将消费 8, 9, 10 分区 假如我们有2个主题(T1和T2)，分别有10个分区，那么最后分区分配的结果看起来是这样的： C1-0 将消费 T1主题的 0, 1, 2, 3 分区以及 T2主题的 0, 1, 2, 3分区 C2-0 将消费 T1主题的 4, 5, 6 分区以及 T2主题的 4, 5, 6分区 C2-1 将消费 T1主题的 7, 8, 9 分区以及 T2主题的 7, 8, 9分区 可以看出，C1-0 消费者线程比其他消费者线程多消费了2个分区，这就是Range strat