架构与系统设计 / 系统课时
至多一次和至少一次怎么选
至多一次和至少一次怎么选
同一条订单事件遇到消费者宕机,可能被跳过,也可能再次执行。区别往往不在消息内容,而在消费确认与业务提交的先后顺序。本篇通过失败窗口和一个可运行模型,帮助你按漏处理、重复处理与恢复延迟的代价选择策略。
学习目标
- 区分投递语义与业务副作用次数,明确保证范围。
- 找出提前确认造成的漏处理窗口和延后确认造成的重复窗口。
- 根据业务损失选择策略,并确定必要的恢复措施。
先限定“一次”的范围
先说明讨论的是发送到中间件,还是中间件到消费者。本篇限定为消息已可靠保存后的消费处理;同一事件被多个独立订阅者各处理一次,不属于同一订阅中的重复。发送可靠性与消费可靠性需要分别考虑。([Apache Kafka][1])
| 语义 | 在约定范围内的承诺 | 必须接受的风险 |
|---|---|---|
| 至多一次 | 允许没有交付或处理,不以故障重投来补齐 | 消息可能没有产生业务结果 |
| 至少一次 | 在恢复条件成立时持续重试或重放,允许重复 | 同一消息可能多次进入业务处理 |
这些承诺依赖消息存储、确认和恢复机制,不是任意故障下的绝对保证。下面假设消息未过期、未被主动丢弃,消费者最终恢复,业务具备成功完成的条件;“至少一次投递”本身并不保证业务操作必然成功。([RabbitMQ][2])
失败窗口就在两个动作之间
这里把消费进度记为完成统称为“确认”。RabbitMQ 使用消费者 ACK;Kafka 普通消费者组使用位点提交。它们都不等于业务数据库提交,发送端收到的发布确认也不代表消费者已经完成业务。([RabbitMQ][3])
先确认、后提交业务:确认已经生效,进程却在业务提交前宕机。恢复方认为消息已完成而跳过它,于是漏处理。这是至多一次消费处理的典型失败窗口。([Apache Kafka][1])
先提交业务、后确认:业务已经成功,确认却因宕机或断线没有生效。恢复方重投或重放该消息,没有幂等保护时,业务会再执行一次。这是至少一次需要处理的重复窗口。([RabbitMQ][3])

因此,不能用“已经开始处理”作为确认依据。对于至少一次,确认点应对应业务结果已成功提交,而不是刚收到消息或刚把任务放入进程内线程池。([RabbitMQ][2])
用最小模型观察两种结果
把下面代码保存为 delivery_windows.py,在 Python 3 环境执行 python delivery_windows.py。模型用变量保留已生效状态,模拟两个动作之间的一次故障及恢复;它不连接真实中间件,也不验证磁盘持久性。
def simulate(confirm_first: bool, crash_between: bool) -> int:
# 分别模拟已保存的消费进度和已提交的业务副作用次数。
confirmed = False
effects = 0
# 仅在两个动作之间注入故障,已经生效的动作不会回滚。
if confirm_first:
confirmed = True
if not crash_between:
effects += 1
else:
effects += 1
if not crash_between:
confirmed = True
# 恢复后只重试未确认消息,假定这次处理与确认都成功。
if crash_between and not confirmed:
effects += 1
confirmed = True
return effects
if __name__ == "__main__":
for name, first in (("at_most_once", True), ("at_least_once", False)):
normal = simulate(first, False)
failed = simulate(first, True)
print(f"{name}: normal={normal}, crash={failed}")预期输出:
at_most_once: normal=1, crash=0
at_least_once: normal=1, crash=2输出统计的是业务副作用次数,不是网络发送次数。无故障时都是一次;指定失败窗口下,提前确认得到零次,延后确认且没有幂等得到两次。真实系统若连续发生故障,重复次数可能不止两次。
按业务损失选择,而不是只比较吞吐
建议同时估算漏处理、重复处理、延迟恢复的代价,再加入幂等与运维成本。以下选择依赖表中业务前提,不是对所有同类消息的统一规定。
| 业务前提 | 建议策略 | 选择理由 |
|---|---|---|
| 非告警类实时仪表盘允许缺少单次采样,后续值会覆盖 | 可以选择至多一次 | 已明确接受局部缺失 |
| 订单状态同步不能静默遗漏,允许稍后补齐 | 至少一次,配合幂等更新 | 优先保留恢复机会 |
| 库存变更既不能遗漏,也不能重复生效 | 至少一次,配合原子幂等或事务协调 | 两种投递语义单独都不够 |
“重复代价高”不能直接推导出至多一次,还必须确认能接受漏处理。另一条路径是允许重复投递,但用稳定业务键限制重复效果;重试换一个新键,会让接收方把它当成新操作。([Amazon Web Services, Inc.][4])
采用至少一次时,重试应有退避和受监控的失败出口,避免无休止地立即重投。重试耗尽后保留失败记录与重放能力;进入死信或隔离流程不等于业务成功,不能用确认后丢弃来宣称已完成可靠处理。([RabbitMQ][3])