架构与系统设计 / 系统课时

设计消息重复的幂等消费

设计消息重复的幂等消费

至少一次投递能降低消息丢失风险,但消费者可能收到同一业务事件多次。本篇用“消息标识 + 业务键 + 消费结果表”把重复识别放进本地事务,确保重试只得到同一个业务结果,而不会重复扣款或重复推进状态。

学习目标

  • 区分消息唯一标识与业务幂等键的职责
  • 用消费结果表和本地事务实现可恢复的幂等消费
  • 判断重复投递、失败重试与并发消费的边界

先确定什么叫同一次业务动作

幂等不是“看见相同消息就直接丢弃”,而是无论同一动作执行一次还是多次,最终业务结果都一致。消费者首先要确定幂等范围:消息系统生成的 message_id 用于识别同一次投递,业务键则表达“这项业务只能成功一次”。

以支付扣款为例,若一个订单只允许一次成功扣款,order_id 或支付单号比随机消息 ID 更接近业务约束。生产者因超时重发时可能生成新的消息 ID,但业务键仍然相同;只按消息 ID 去重,仍可能发生重复扣款。

把去重记录和业务写入放进同一事务

常见做法是建立消费结果表,对 consumer_name + idempotency_key 建唯一约束。消费者收到消息后,在一个本地数据库事务中先登记幂等键,再执行业务更新并保存结果;若唯一键已存在,就读取已有结果并返回成功。

幂等消费事务流程

下面的 Python 示例使用标准库 sqlite3 模拟一个完整消费者:唯一键负责选出第一次处理,本地事务保证去重记录与扣款一起提交或一起回滚。<ID> 在真实系统中应替换为订单号、支付单号等稳定业务键。

python
import sqlite3

db = sqlite3.connect(":memory:")
db.execute("CREATE TABLE account (id INTEGER PRIMARY KEY, balance INTEGER NOT NULL)")
db.execute(
    "CREATE TABLE consumer_result ("
    "consumer_name TEXT NOT NULL, idempotency_key TEXT NOT NULL, "
    "result_code TEXT NOT NULL, PRIMARY KEY (consumer_name, idempotency_key))"
)
db.execute("INSERT INTO account VALUES (42, 1000)")
db.commit()

def consume(idempotency_key: str) -> str:
    try:
        db.execute("BEGIN IMMEDIATE")
        cursor = db.execute(
            "INSERT OR IGNORE INTO consumer_result VALUES (?, ?, 'PROCESSING')",
            ("payment-consumer", idempotency_key),
        )
        # 未插入说明已有相同业务键,直接读取既有结果,不再执行扣款。
        if cursor.rowcount == 0:
            result = db.execute(
                "SELECT result_code FROM consumer_result "
                "WHERE consumer_name = ? AND idempotency_key = ?",
                ("payment-consumer", idempotency_key),
            ).fetchone()[0]
            db.commit()
            balance = db.execute("SELECT balance FROM account WHERE id = 42").fetchone()[0]
            return f"DUPLICATE result={result} balance={balance}"

        cursor = db.execute(
            "UPDATE account SET balance = balance - 100 "
            "WHERE id = 42 AND balance >= 100"
        )
        if cursor.rowcount != 1:
            raise RuntimeError("insufficient balance")

        db.execute(
            "UPDATE consumer_result SET result_code = 'SUCCESS' "
            "WHERE consumer_name = ? AND idempotency_key = ?",
            ("payment-consumer", idempotency_key),
        )
        db.commit()
        balance = db.execute("SELECT balance FROM account WHERE id = 42").fetchone()[0]
        return f"SUCCESS balance={balance}"
    except Exception:
        db.rollback()
        raise

print(consume("<ID>"))
print(consume("<ID>"))

预期输出

text
SUCCESS balance=900
DUPLICATE result=SUCCESS balance=900

第二次调用没有再次扣款,证明“重复投递”被约束成“返回既有结果”。如果业务更新抛出异常,PROCESSING 记录也会随事务回滚,下一次重试仍可正常执行,而不会被错误地判定为已完成。

正确处理并发和异常

两个消费者可能几乎同时处理同一业务键。应用层的“先查再写”并不能阻止竞态,因为两个实例都可能先查到不存在;真正的仲裁应依赖数据库唯一约束或等价的原子条件写。

唯一键冲突是幂等协议的一条正常分支,但连接超时、死锁、SQL 错误等不能一律当成“重复消息”。只有明确确认已有同一幂等键及其结果,才能安全返回既有结果;其余异常应回滚并让消息重试或进入故障处理流程。

确认消息的时机

只有本地事务提交成功,消费者才能向消息系统确认处理完成。若在提交前确认,进程崩溃可能造成消息已消失但业务尚未落库;若事务已提交但确认丢失,消息会再次投递,此时消费结果表应让重试安全返回已有结果。

至少一次投递并不要求消费者“物理上只执行一次”,而是要求业务副作用具备重复执行仍得到同一结果的约束。把业务唯一性、结果记录和事务提交边界设计在一起,重复消息就会从事故来源变成可预期的正常输入。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计消息重复的幂等消费

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通