消息队列 / 系统课时
选择分区分配策略
选择分区分配策略
分区分配策略决定 Rebalance 后“谁消费哪些分区”。选错策略不一定造成数据错误,却可能让部分消费者长期偏载,或在扩缩容时搬动过多分区。下面以 Apache Kafka 4.3 为基线,从均衡度、粘性和迁移成本三个维度完成选择。
学习目标
- 比较 Range、RoundRobin、Sticky 与 CooperativeSticky 的核心差异。
- 根据扩缩容频率和分区迁移成本选择 Classic 协议下的分配策略。
- 区分 Classic 与 Consumer Group Protocol 下分配策略的配置位置。
先看三个选择标准
均衡关注每个成员拿到的分区数量是否接近;粘性关注 Rebalance 后是否尽量保留原有归属;迁移成本则来自分区撤销、状态清理、缓存重建和新成员预热。吞吐均衡只是目标之一,状态较重的消费者更怕“为了均衡而大搬家”。
| 策略 | 均衡特征 | 历史粘性 | Rebalance 方式 | 更适合 |
|---|---|---|---|---|
| RangeAssignor | 按 Topic 分别切连续区间,多 Topic 时可能出现成员偏载 | 弱 | Eager | 订阅简单、希望同一 Topic 分区集中 |
| RoundRobinAssignor | 相同订阅时通常能让分区数差不超过 1 | 弱 | Eager | 多 Topic 且成员订阅基本一致 |
| StickyAssignor | 在尽量均衡的同时保留旧分配 | 强 | Eager | 迁移成本高,但仍接受全量撤销 |
| CooperativeStickyAssignor | 延续 Sticky 的分配目标,并支持协作式渐进迁移 | 强 | Cooperative | 仍使用 Classic 协议且希望降低 Rebalance 扰动 |

用扩容场景判断迁移成本
假设 8 个分区原本由 C1、C2 消费,现在加入 C3。若消费者几乎无本地状态,只要最终均衡,迁移几个分区通常影响不大;如果每个分区都维护大缓存、窗口状态或昂贵连接,则每次所有权变化都可能带来重新预热。
因此不要只问“哪个最平均”,还要问“移动一个分区有多贵”。Sticky 系列的价值就在于:在满足均衡约束时,尽量少改已有归属。CooperativeSticky 进一步避免一次性撤销所有分区,让仍可继续处理的分区保持工作。
配置 Classic 协议
仍使用 group.protocol=classic 时,分配策略由客户端的 partition.assignment.strategy 控制。若目标是降低扩缩容扰动,可在所有成员完成兼容性确认后统一使用 CooperativeSticky:
bootstrap.servers=localhost:<PORT>
group.id=orders-workers
group.protocol=classic
partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor这是消费者配置示例,<PORT> 替换为实际 Broker 端口。组内成员必须有共同支持的 assignor;滚动切换期间不要让不同实例只声明彼此不兼容的策略。
启动消费者后可查看组级状态:
bin/kafka-consumer-groups.sh --bootstrap-server localhost:<PORT> --describe --group orders-workers --state预期输出中组进入 Stable,并显示当前分配策略;协调节点地址和成员数会随环境变化:
COORDINATOR (ID) ASSIGNMENT-STRATEGY STATE #MEMBERS
<HOST>:<PORT> (<ID>) cooperative-sticky Stable <COUNT>Consumer 协议下策略转到服务端
当客户端设置 group.protocol=consumer 时,partition.assignment.strategy 不再可用。Kafka 4.3 的分配由 Group Coordinator 在服务端执行,Broker 通过 group.consumer.assignors 提供 assignor;内置的 uniform 与 range 中,默认优先 uniform。客户端如需指定可用 group.remote.assignor。
bootstrap.servers=localhost:<PORT>
group.id=orders-workers
group.protocol=consumer
group.remote.assignor=uniformBroker 侧对应配置可保持:
group.consumer.assignors=uniform,range验证方式仍是观察组状态和成员分区归属。迁移到 Consumer 协议时,应把“继续调客户端 assignor”改成“确认服务端 assignor 与目标分配结果”,否则很容易修改了一个已经不生效的参数。
做出选择
订阅完全一致、状态很轻且主要追求平均分布时,RoundRobin 思路容易理解;Topic 数量多且 Range 已出现偏载时,不应因为默认配置而继续沿用。对大多数仍使用 Classic 协议、又频繁滚动发布或弹性扩缩容的普通消费者,CooperativeSticky 通常更符合“少搬分区、少打断处理”的目标;采用 Consumer 协议后,则优先评估服务端 uniform,再用真实扩缩容演练比较分区迁移数和恢复时间。