消息队列 / 系统课时
在 Rebalance 回调中交接进度
在 Rebalance 回调中交接进度
Rebalance 发生时,旧消费者可能失去分区,新消费者随后接管。如果应用维护手动提交 Offset 或分区级本地状态,就必须在撤销与分配回调中明确交接边界,否则容易出现重复处理、状态错配或提交了不属于自己的进度。
学习目标
- 理解分区撤销与分配回调各自适合完成什么工作
- 在撤销前提交已完成处理的 Offset
- 在新分区分配后恢复与该分区绑定的本地状态
交接边界在哪里
对于 at-least-once 消费,安全原则是:只提交已经完成处理的记录对应的“下一条 Offset”。当分区即将被撤销时,当前持有者应停止继续推进该分区,并把最后确认完成的进度提交出去。
新持有者拿到分区后,应从已提交 Offset 或外部状态存储恢复,而不是假设旧实例的内存状态仍然有效。

Java 回调主示例
下面示例使用手动提交,并在撤销回调里提交当前已完成进度。processedOffsets 保存的是每个分区下一条应该消费的 Offset。
java
Map<TopicPartition, OffsetAndMetadata> processedOffsets = new HashMap<>();
consumer.subscribe(List.of("orders"), new ConsumerRebalanceListener() {
@Override
public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
Map<TopicPartition, OffsetAndMetadata> toCommit = processedOffsets.entrySet()
.stream()
.filter(e -> partitions.contains(e.getKey()))
.collect(Collectors.toMap(Map.Entry::getKey, Map.Entry::getValue));
if (!toCommit.isEmpty()) {
consumer.commitSync(toCommit);
}
partitions.forEach(processedOffsets::remove);
}
@Override
public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
for (TopicPartition partition : partitions) {
// 可在这里恢复该分区对应的本地缓存或外部状态。
System.out.println("assigned " + partition);
}
}
});预期输出:
text
assigned orders-0
assigned orders-1实际分区编号取决于本次分配结果。
处理记录时,在业务逻辑真正成功后再更新进度:
java
for (ConsumerRecord<String, String> record : records) {
handle(record);
TopicPartition tp = new TopicPartition(record.topic(), record.partition());
processedOffsets.put(tp, new OffsetAndMetadata(record.offset() + 1));
}预期结果:
text
只有 handle 成功完成的记录才推进待提交 Offset;发生 Rebalance 时,撤销回调提交这些已完成进度。不要在回调里做无限期工作
撤销回调应完成必要但有界的交接工作。如果在里面执行长时间外部 RPC、复杂清理或不可控重试,会直接拉长 Rebalance。必要的状态刷盘可以做,但要限制超时,并把非关键清理移到异步路径。
验证交接是否正确
测试时可以启动两个消费者,然后停止其中一个,观察另一实例接管分区。重点检查三个证据:旧实例撤销后不再处理该分区;提交 Offset 没有越过尚未完成的记录;新实例从正确位置恢复。
如果允许 at-least-once,少量重复通常比丢消息更可接受。真正的目标不是追求“绝对零重复”,而是把处理边界、提交边界和分区所有权边界对齐。
按自己的节奏,确认真正理解。