架构与系统设计 / 系统课时
设计至少一次投递的消费语义
设计至少一次投递的消费语义
至少一次投递的目标不是“每条消息只执行一次”,而是让失败后的消息仍有机会再次处理。代价是重复不可避免,因此可靠路径必须同时设计重试、确认时机与消费者幂等,才能把重复投递变成可接受的业务结果。
学习目标
- 识别生产、传输、处理和确认之间的主要失败窗口。
- 说明至少一次投递为什么会产生重复消息。
- 用幂等消费把重复处理收敛为同一个业务结果。
先把失败窗口拆开
一条消息从生产者发出,到消费者真正完成业务动作,中间至少经过“发送、Broker 持久化、拉取或推送、业务处理、确认或提交位点”几个阶段。只要故障发生在“结果已经产生,但确认尚未成功”的窗口里,发送方或 Broker 就无法确定结果,只能重试。

至少一次语义选择的是“宁可重复,也不要因为不确定就直接跳过”。例如消费者已经把订单状态写入数据库,但在确认消息之前进程崩溃;重启后同一消息会再次出现。若消费者没有幂等保护,同一业务动作就可能执行两次。
用幂等消费者吸收重复
最常见的做法是给每个业务事件一个稳定的唯一标识,并在持久化业务结果时同步记录这个标识。下面用 SQLite 模拟“消费收件箱”:inbox.event_id 是唯一键,业务更新与去重记录位于同一数据库事务中。
import sqlite3
conn = sqlite3.connect(":memory:")
conn.execute("CREATE TABLE account (id TEXT PRIMARY KEY, balance INTEGER NOT NULL)")
conn.execute("CREATE TABLE inbox (event_id TEXT PRIMARY KEY)")
conn.execute("INSERT INTO account(id, balance) VALUES ('A', 100)")
conn.commit()
def handle(event_id: str, amount: int) -> str:
try:
with conn:
# 去重记录和业务更新必须处于同一事务。
conn.execute("INSERT INTO inbox(event_id) VALUES (?)", (event_id,))
conn.execute(
"UPDATE account SET balance = balance + ? WHERE id = 'A'",
(amount,),
)
return f"{event_id}: applied"
except sqlite3.IntegrityError:
return f"{event_id}: duplicate ignored"
print(handle("evt-101", 30))
print(handle("evt-101", 30))
balance = conn.execute("SELECT balance FROM account WHERE id = 'A'").fetchone()[0]
print(f"balance={balance}")预期输出
evt-101: applied
evt-101: duplicate ignored
balance=130这里第二次收到 evt-101 时,唯一键拒绝重复写入,事务中的余额更新也不会再次发生。真实系统应把去重记录放在可持久化存储中,不能只依赖进程内集合,否则消费者重启后会失去历史处理记录。
把确认放在业务成功之后
至少一次消费的关键顺序是:先完成可恢复、可判定成功的业务结果,再确认消息或提交消费位点。若先确认再处理,确认成功后进程崩溃,Broker 会认为消息已经完成,而业务动作可能从未发生,这会形成不可自动恢复的遗漏。
对数据库内业务,常见路径是“开启事务 → 写入去重记录 → 更新业务数据 → 提交事务 → 提交消费位点”。故障若发生在事务提交后、位点提交前,消息会重投,但幂等检查会把第二次处理变成无副作用的重复命中。
处理事务之外的副作用
邮件、支付、调用第三方接口等副作用通常无法与本地数据库放进同一个事务。此时应把稳定的事件 ID 继续向下游传递,优先使用对方提供的幂等键;若下游不支持幂等,可先在本地事务中写入待发送记录,再由独立发送器重试。
对持续失败的消息还要设置有限重试、退避和死信处理,否则单条毒消息可能长期占用分区或消费线程。至少一次语义真正可靠的边界是:任何可重试阶段都允许重复发生,但每个可观察的业务结果都必须能根据同一事件标识收敛到唯一结果。