消息队列 / 系统课时

在 Rebalance 回调中交接进度

在 Rebalance 回调中交接进度

Rebalance 发生时,旧消费者可能失去分区,新消费者随后接管。如果应用维护手动提交 Offset 或分区级本地状态,就必须在撤销与分配回调中明确交接边界,否则容易出现重复处理、状态错配或提交了不属于自己的进度。

学习目标

  • 理解分区撤销与分配回调各自适合完成什么工作
  • 在撤销前提交已完成处理的 Offset
  • 在新分区分配后恢复与该分区绑定的本地状态

交接边界在哪里

对于 at-least-once 消费,安全原则是:只提交已经完成处理的记录对应的“下一条 Offset”。当分区即将被撤销时,当前持有者应停止继续推进该分区,并把最后确认完成的进度提交出去。

新持有者拿到分区后,应从已提交 Offset 或外部状态存储恢复,而不是假设旧实例的内存状态仍然有效。

Rebalance 回调中的分区交接时序

Java 回调主示例

下面示例使用手动提交,并在撤销回调里提交当前已完成进度。processedOffsets 保存的是每个分区下一条应该消费的 Offset。

java
Map<TopicPartition, OffsetAndMetadata> processedOffsets = new HashMap<>();

consumer.subscribe(List.of("orders"), new ConsumerRebalanceListener() {
    @Override
    public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
        Map<TopicPartition, OffsetAndMetadata> toCommit = processedOffsets.entrySet()
            .stream()
            .filter(e -> partitions.contains(e.getKey()))
            .collect(Collectors.toMap(Map.Entry::getKey, Map.Entry::getValue));

        if (!toCommit.isEmpty()) {
            consumer.commitSync(toCommit);
        }

        partitions.forEach(processedOffsets::remove);
    }

    @Override
    public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
        for (TopicPartition partition : partitions) {
            // 可在这里恢复该分区对应的本地缓存或外部状态。
            System.out.println("assigned " + partition);
        }
    }
});

预期输出:

text
assigned orders-0
assigned orders-1

实际分区编号取决于本次分配结果。

处理记录时,在业务逻辑真正成功后再更新进度:

java
for (ConsumerRecord<String, String> record : records) {
    handle(record);
    TopicPartition tp = new TopicPartition(record.topic(), record.partition());
    processedOffsets.put(tp, new OffsetAndMetadata(record.offset() + 1));
}

预期结果:

text
只有 handle 成功完成的记录才推进待提交 Offset;发生 Rebalance 时,撤销回调提交这些已完成进度。

不要在回调里做无限期工作

撤销回调应完成必要但有界的交接工作。如果在里面执行长时间外部 RPC、复杂清理或不可控重试,会直接拉长 Rebalance。必要的状态刷盘可以做,但要限制超时,并把非关键清理移到异步路径。

验证交接是否正确

测试时可以启动两个消费者,然后停止其中一个,观察另一实例接管分区。重点检查三个证据:旧实例撤销后不再处理该分区;提交 Offset 没有越过尚未完成的记录;新实例从正确位置恢复。

如果允许 at-least-once,少量重复通常比丢消息更可接受。真正的目标不是追求“绝对零重复”,而是把处理边界、提交边界和分区所有权边界对齐。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

在 Rebalance 回调中交接进度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通