消息队列 / 系统课时
消费组与分区分配
消费组与分区分配
消费组决定了同一主题的数据是“由多个消费者分摊”还是“被不同业务各自完整消费”。本课通过分区分配示例理解同组竞争、跨组广播、消费者数量上限,并比较 Range、RoundRobin 与 Sticky 三类常见分配策略。
学习目标
- 区分同组消费者之间的分摊关系与不同组之间的独立消费关系
- 根据分区数量判断一个消费组的有效并发上限
- 理解 Range、RoundRobin 与 Sticky 分配策略的主要差异和适用重点
同组分摊与跨组独立
Kafka 在一个消费组内保证同一分区同一时刻只交给一个消费者。假设主题有 4 个分区,组内有 2 个消费者,通常每个消费者可处理其中一部分分区;如果增加到 5 个消费者,其中至少 1 个没有分区可消费。
不同消费组彼此独立。订单服务使用组 order-service,风控服务使用组 risk-service 时,它们都可以读取主题的全部分区,并各自维护消费位移。这种效果常被称为“跨组广播”,本质上仍是每个组独立消费。

因此,单个消费组的并行度上限由可分配分区数决定,而不是单纯由消费者实例数决定。要提升组内并行能力,通常需要先确认主题是否有足够分区。
用代码观察分配结果
下面程序启动一个 Consumer,订阅 orders 后持续 poll(),直到拿到分区分配结果再打印。启动两个相同程序实例并保持相同 group.id,就能观察它们如何分摊主题分区。
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.serialization.StringDeserializer;
import java.time.Duration;
import java.util.List;
import java.util.Properties;
import java.util.Set;
public class AssignmentDemo {
public static void main(String[] args) {
Properties props = new Properties();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ConsumerConfig.GROUP_ID_CONFIG, "assignment-demo");
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(
ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,
"org.apache.kafka.clients.consumer.CooperativeStickyAssignor");
try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props)) {
consumer.subscribe(List.of("orders"));
Set<TopicPartition> partitions;
do {
// poll 会推动加入消费组并获得当前分区分配。
consumer.poll(Duration.ofSeconds(1));
partitions = consumer.assignment();
} while (partitions.isEmpty());
System.out.println(partitions);
}
}
}预期输出
[orders-0, orders-2]实际集合取决于主题分区数、同组消费者数量以及当次分配结果,可能不同。若只有一个消费者且 orders 有 4 个分区,它会获得全部 4 个分区;若有两个同组消费者,则这些分区会在两者之间分配。
三类分配策略怎么区别
RangeAssignor 按主题分别计算连续的分区范围。一个组同时订阅多个主题且各主题分区数相近时,排在前面的消费者可能在多个主题上都拿到额外分区,整体负载不一定最均匀。
RoundRobinAssignor 按轮转方式分配可用分区,通常更强调总分区数层面的均衡;当组内消费者订阅的主题集合不同,分配仍必须满足“消费者只能获得自己订阅的主题”这一约束。
StickyAssignor 在追求均衡的同时尽量保留已有分配,减少再均衡时大量分区换主。CooperativeStickyAssignor 延续 Sticky 思路,并采用协作式再均衡,让分区迁移更渐进,减少一次性撤销全部分区的影响。
| 策略 | 主要目标 | 需要注意 |
|---|---|---|
| Range | 按主题切分连续分区范围 | 多主题场景可能让部分消费者负载偏高 |
| RoundRobin | 在可分配分区间轮转 | 订阅集合差异会限制可分配范围 |
| Sticky | 尽量均衡且保留原分配 | 更关注再均衡时减少分区迁移 |
选择策略时看什么
如果消费者订阅结构简单,而且希望行为直观,Range 容易理解;如果重点是让总分区数尽量均衡,可以考虑 RoundRobin;如果生产环境更关注扩缩容、实例重启时的分区稳定性,Sticky 或 CooperativeSticky 往往更合适。
理解消费组时最重要的两个尺度是:组内按分区竞争,组间彼此独立。分配策略负责优化组内分工,但真正决定最大并发度的仍然是主题分区数量。