架构与系统设计 / 系统课时

至多一次和至少一次怎么选

至多一次和至少一次怎么选

同一条订单事件遇到消费者宕机,可能被跳过,也可能再次执行。区别往往不在消息内容,而在消费确认与业务提交的先后顺序。本篇通过失败窗口和一个可运行模型,帮助你按漏处理、重复处理与恢复延迟的代价选择策略。

学习目标

  • 区分投递语义与业务副作用次数,明确保证范围。
  • 找出提前确认造成的漏处理窗口和延后确认造成的重复窗口。
  • 根据业务损失选择策略,并确定必要的恢复措施。

先限定“一次”的范围

先说明讨论的是发送到中间件,还是中间件到消费者。本篇限定为消息已可靠保存后的消费处理;同一事件被多个独立订阅者各处理一次,不属于同一订阅中的重复。发送可靠性与消费可靠性需要分别考虑。([Apache Kafka][1])

语义 在约定范围内的承诺 必须接受的风险
至多一次 允许没有交付或处理,不以故障重投来补齐 消息可能没有产生业务结果
至少一次 在恢复条件成立时持续重试或重放,允许重复 同一消息可能多次进入业务处理

这些承诺依赖消息存储、确认和恢复机制,不是任意故障下的绝对保证。下面假设消息未过期、未被主动丢弃,消费者最终恢复,业务具备成功完成的条件;“至少一次投递”本身并不保证业务操作必然成功。([RabbitMQ][2])

失败窗口就在两个动作之间

这里把消费进度记为完成统称为“确认”。RabbitMQ 使用消费者 ACK;Kafka 普通消费者组使用位点提交。它们都不等于业务数据库提交,发送端收到的发布确认也不代表消费者已经完成业务。([RabbitMQ][3])

先确认、后提交业务:确认已经生效,进程却在业务提交前宕机。恢复方认为消息已完成而跳过它,于是漏处理。这是至多一次消费处理的典型失败窗口。([Apache Kafka][1])

先提交业务、后确认:业务已经成功,确认却因宕机或断线没有生效。恢复方重投或重放该消息,没有幂等保护时,业务会再执行一次。这是至少一次需要处理的重复窗口。([RabbitMQ][3])

确认与业务提交的先后顺序,决定故障后漏处理还是重复处理

因此,不能用“已经开始处理”作为确认依据。对于至少一次,确认点应对应业务结果已成功提交,而不是刚收到消息或刚把任务放入进程内线程池。([RabbitMQ][2])

用最小模型观察两种结果

把下面代码保存为 delivery_windows.py,在 Python 3 环境执行 python delivery_windows.py。模型用变量保留已生效状态,模拟两个动作之间的一次故障及恢复;它不连接真实中间件,也不验证磁盘持久性。

python
def simulate(confirm_first: bool, crash_between: bool) -> int:
    # 分别模拟已保存的消费进度和已提交的业务副作用次数。
    confirmed = False
    effects = 0

    # 仅在两个动作之间注入故障,已经生效的动作不会回滚。
    if confirm_first:
        confirmed = True
        if not crash_between:
            effects += 1
    else:
        effects += 1
        if not crash_between:
            confirmed = True

    # 恢复后只重试未确认消息,假定这次处理与确认都成功。
    if crash_between and not confirmed:
        effects += 1
        confirmed = True
    return effects

if __name__ == "__main__":
    for name, first in (("at_most_once", True), ("at_least_once", False)):
        normal = simulate(first, False)
        failed = simulate(first, True)
        print(f"{name}: normal={normal}, crash={failed}")

预期输出:

text
at_most_once: normal=1, crash=0
at_least_once: normal=1, crash=2

输出统计的是业务副作用次数,不是网络发送次数。无故障时都是一次;指定失败窗口下,提前确认得到零次,延后确认且没有幂等得到两次。真实系统若连续发生故障,重复次数可能不止两次。

按业务损失选择,而不是只比较吞吐

建议同时估算漏处理、重复处理、延迟恢复的代价,再加入幂等与运维成本。以下选择依赖表中业务前提,不是对所有同类消息的统一规定。

业务前提 建议策略 选择理由
非告警类实时仪表盘允许缺少单次采样,后续值会覆盖 可以选择至多一次 已明确接受局部缺失
订单状态同步不能静默遗漏,允许稍后补齐 至少一次,配合幂等更新 优先保留恢复机会
库存变更既不能遗漏,也不能重复生效 至少一次,配合原子幂等或事务协调 两种投递语义单独都不够

“重复代价高”不能直接推导出至多一次,还必须确认能接受漏处理。另一条路径是允许重复投递,但用稳定业务键限制重复效果;重试换一个新键,会让接收方把它当成新操作。([Amazon Web Services, Inc.][4])

采用至少一次时,重试应有退避和受监控的失败出口,避免无休止地立即重投。重试耗尽后保留失败记录与重放能力;进入死信或隔离流程不等于业务成功,不能用确认后丢弃来宣称已完成可靠处理。([RabbitMQ][3])

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

至多一次和至少一次怎么选

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通