消息队列 / 系统课时
使用 CooperativeStickyAssignor
使用 CooperativeStickyAssignor
CooperativeStickyAssignor 的核心价值不是“让 Rebalance 消失”,而是把一次需要全部停下来的 eager 重分配,改造成尽量只撤销必须移动的分区。这样能减少停顿与状态搬迁,但前提是客户端和组内成员正确使用 cooperative 协议。
学习目标
- 解释 cooperative sticky 的增量撤销与粘性目标
- 配置 Kafka Consumer 使用 CooperativeStickyAssignor
- 判断何时它能降低 Rebalance 成本,何时收益有限
eager 与 cooperative 的差异
eager 分配在 Rebalance 开始时会先撤销所有成员持有的分区,然后重新分配。即使最终大部分分区仍回到原成员,也经历了“全撤销再全分配”。
cooperative 策略会尽量保留不需要移动的分区,只撤销发生所有权转移的那部分,因此特别适合消费者较多、单个分区带有本地缓存或状态、Rebalance 成本明显的场景。

配置 CooperativeStickyAssignor
Java 客户端可以通过消费者配置指定分配策略:
partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor预期结果:
消费者加入组后使用 cooperative sticky 分配语义;Rebalance 时优先保留无需迁移的现有分区,仅增量撤销需要转移的分区。如果通过 Java 代码构造配置,也可以写成:
props.put(
ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,
CooperativeStickyAssignor.class.getName()
);预期结果:
Consumer 创建后会把 CooperativeStickyAssignor 作为分区分配策略参与组协调。配置变更应在整个消费组内一致推进。混用不同协议或在升级期间未考虑兼容性,可能导致组无法按预期完成协商。
为什么 Sticky 很重要
“Cooperative”解决的是是否需要一次性撤销全部分区,“Sticky”解决的是新分配是否尽量保持旧映射。两者组合后,目标是既减少暂停范围,也减少分区从一个实例搬到另一个实例的次数。
如果消费者维护分区级缓存、批处理缓冲区或本地状态,减少搬迁通常能直接降低重新预热成本。若消费者完全无状态、启动极快且组很小,收益可能没有那么明显。
什么时候仍会有停顿
CooperativeStickyAssignor 不能消除成员启动时间、应用暂停、网络超时或实际分区迁移造成的影响。新增实例时,仍有部分分区必须从旧持有者交给新持有者;Topic 分区数变化时,也仍需重新协商。
因此评估效果时不要只看“Rebalance 次数”,还要看每次 Rebalance 的撤销分区数、消费暂停范围、恢复到稳定吞吐所需时间,以及状态预热成本是否下降。