架构与系统设计 / 系统课时
设计消息重复的幂等消费
设计消息重复的幂等消费
至少一次投递能降低消息丢失风险,但消费者可能收到同一业务事件多次。本篇用“消息标识 + 业务键 + 消费结果表”把重复识别放进本地事务,确保重试只得到同一个业务结果,而不会重复扣款或重复推进状态。
学习目标
- 区分消息唯一标识与业务幂等键的职责
- 用消费结果表和本地事务实现可恢复的幂等消费
- 判断重复投递、失败重试与并发消费的边界
先确定什么叫同一次业务动作
幂等不是“看见相同消息就直接丢弃”,而是无论同一动作执行一次还是多次,最终业务结果都一致。消费者首先要确定幂等范围:消息系统生成的 message_id 用于识别同一次投递,业务键则表达“这项业务只能成功一次”。
以支付扣款为例,若一个订单只允许一次成功扣款,order_id 或支付单号比随机消息 ID 更接近业务约束。生产者因超时重发时可能生成新的消息 ID,但业务键仍然相同;只按消息 ID 去重,仍可能发生重复扣款。
把去重记录和业务写入放进同一事务
常见做法是建立消费结果表,对 consumer_name + idempotency_key 建唯一约束。消费者收到消息后,在一个本地数据库事务中先登记幂等键,再执行业务更新并保存结果;若唯一键已存在,就读取已有结果并返回成功。

下面的 Python 示例使用标准库 sqlite3 模拟一个完整消费者:唯一键负责选出第一次处理,本地事务保证去重记录与扣款一起提交或一起回滚。<ID> 在真实系统中应替换为订单号、支付单号等稳定业务键。
import sqlite3
db = sqlite3.connect(":memory:")
db.execute("CREATE TABLE account (id INTEGER PRIMARY KEY, balance INTEGER NOT NULL)")
db.execute(
"CREATE TABLE consumer_result ("
"consumer_name TEXT NOT NULL, idempotency_key TEXT NOT NULL, "
"result_code TEXT NOT NULL, PRIMARY KEY (consumer_name, idempotency_key))"
)
db.execute("INSERT INTO account VALUES (42, 1000)")
db.commit()
def consume(idempotency_key: str) -> str:
try:
db.execute("BEGIN IMMEDIATE")
cursor = db.execute(
"INSERT OR IGNORE INTO consumer_result VALUES (?, ?, 'PROCESSING')",
("payment-consumer", idempotency_key),
)
# 未插入说明已有相同业务键,直接读取既有结果,不再执行扣款。
if cursor.rowcount == 0:
result = db.execute(
"SELECT result_code FROM consumer_result "
"WHERE consumer_name = ? AND idempotency_key = ?",
("payment-consumer", idempotency_key),
).fetchone()[0]
db.commit()
balance = db.execute("SELECT balance FROM account WHERE id = 42").fetchone()[0]
return f"DUPLICATE result={result} balance={balance}"
cursor = db.execute(
"UPDATE account SET balance = balance - 100 "
"WHERE id = 42 AND balance >= 100"
)
if cursor.rowcount != 1:
raise RuntimeError("insufficient balance")
db.execute(
"UPDATE consumer_result SET result_code = 'SUCCESS' "
"WHERE consumer_name = ? AND idempotency_key = ?",
("payment-consumer", idempotency_key),
)
db.commit()
balance = db.execute("SELECT balance FROM account WHERE id = 42").fetchone()[0]
return f"SUCCESS balance={balance}"
except Exception:
db.rollback()
raise
print(consume("<ID>"))
print(consume("<ID>"))预期输出
SUCCESS balance=900
DUPLICATE result=SUCCESS balance=900第二次调用没有再次扣款,证明“重复投递”被约束成“返回既有结果”。如果业务更新抛出异常,PROCESSING 记录也会随事务回滚,下一次重试仍可正常执行,而不会被错误地判定为已完成。
正确处理并发和异常
两个消费者可能几乎同时处理同一业务键。应用层的“先查再写”并不能阻止竞态,因为两个实例都可能先查到不存在;真正的仲裁应依赖数据库唯一约束或等价的原子条件写。
唯一键冲突是幂等协议的一条正常分支,但连接超时、死锁、SQL 错误等不能一律当成“重复消息”。只有明确确认已有同一幂等键及其结果,才能安全返回既有结果;其余异常应回滚并让消息重试或进入故障处理流程。
确认消息的时机
只有本地事务提交成功,消费者才能向消息系统确认处理完成。若在提交前确认,进程崩溃可能造成消息已消失但业务尚未落库;若事务已提交但确认丢失,消息会再次投递,此时消费结果表应让重试安全返回已有结果。
至少一次投递并不要求消费者“物理上只执行一次”,而是要求业务副作用具备重复执行仍得到同一结果的约束。把业务唯一性、结果记录和事务提交边界设计在一起,重复消息就会从事故来源变成可预期的正常输入。