消息队列 / 系统课时

消息交付语义

消息交付语义

消息交付语义回答的是:当生产、消费或提交位移的过程中发生故障时,一条消息究竟可能丢失、重复,还是能在限定范围内只产生一次结果。理解这三个语义,关键不是背定义,而是看“处理”和“确认”发生的先后顺序。

学习目标

  • 区分至多一次、至少一次和精确一次的失败行为
  • 根据丢失、重复和性能成本选择合适的交付语义
  • 理解 Kafka 精确一次的适用边界,避免把它误解成所有外部副作用都只执行一次

语义由失败窗口决定

消费者通常经历“读取消息、执行业务、记录进度”三个动作。只要故障发生在这些动作之间,就会产生不同结果:先确认再处理可能丢消息,先处理再确认可能重复处理,而精确一次需要把输出结果与消费进度放进同一个可恢复的原子边界。

Kafka 三种消息交付语义的失败窗口

三种语义的差异

语义 典型顺序 故障后可能结果 主要代价
至多一次 先确认进度,再处理 可能丢失,通常不重复 开销低,但容错弱
至少一次 先处理,再确认进度 可能重复;正确持久化与重试时不因提交时机丢失 需要幂等或去重
精确一次 结果与进度原子提交 在保证范围内避免重复结果 事务与协调成本更高

至多一次适合“偶尔丢失可以接受、重复反而更麻烦”的低价值遥测或非关键统计。它的风险很直接:位移已经前移,但业务处理尚未完成时进程崩溃,恢复后不会再读到这条消息。

至少一次是业务系统最常见的选择。消费者先完成数据库写入、状态变更或下游调用,再提交位移。若提交前崩溃,同一消息会再次出现,因此业务处理应尽量具备幂等性,例如使用业务唯一键、幂等表或条件更新。

至少一次为什么会重复

假设消费者读取 offset 42,已经把订单状态更新成功,但还没来得及提交 offset 43 就宕机。重启后,Kafka 仍认为该消费组只确认到了 42 之前的位置,于是 offset 42 会再次投递。

因此“重复消息”并不一定表示 Kafka 异常,而可能正是至少一次语义在故障恢复时的正常行为。设计消费逻辑时,应把“同一业务事件可能执行两次”作为默认前提,而不是只在出现事故后补去重。

Kafka 的精确一次有明确边界

Kafka 的精确一次主要针对 Kafka 内部的“消费一批消息 → 产生新消息 → 提交消费位移”链路。开启幂等生产者可避免生产重试造成的重复写入;使用事务时,输出记录和消费位移可以作为一个事务提交,下游消费者再使用 read_committed 只读取已提交事务。

这并不意味着任意外部副作用都自动变成精确一次。消费者在事务中发送 Kafka 消息的同时又调用第三方 HTTP、发送邮件或更新一个不参与同一事务的数据库,这些外部动作仍可能在故障后重复。

选择语义时先看业务损失

如果丢一条消息比重复一次更危险,通常从至少一次开始,再用幂等抵消重复成本;如果业务完全位于 Kafka 的读写链路内,并且重复结果不可接受,可以评估事务与精确一次。

真正的选择标准不是“级别越高越好”,而是把故障后的损失模型说清楚:能不能丢、能不能重、重复后能不能恢复,以及为更强保证愿意承担多少吞吐和延迟成本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

消息交付语义

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通