消息队列 / 系统课时

为重复订单消息加入幂等

为重复订单消息加入幂等

RabbitMQ 在网络抖动、消费者重启或 ACK 丢失时可能重新投递同一条订单消息。可靠消费不能假设“消息只来一次”,而应让同一业务事件重复到达时只执行一次副作用。本节用事件唯一标识和数据库唯一约束完成这一层保护。

学习目标

  • 能为订单事件选择稳定的幂等键并持久化处理状态
  • 能用数据库唯一约束阻止重复消息再次执行订单操作
  • 理解幂等记录、业务写入与 ACK 应如何配合

幂等键与处理状态必须持久化

幂等键应标识“同一个业务事件”,而不是某次投递。常见做法是由生产者生成 eventId,消费者把它写入持久化表,并给该列建立唯一约束。只要多个消费者共享同一数据库,重复事件就会争用同一个唯一键,而不是各自在内存里判断。

重复订单消息的幂等消费流程

只把 eventId 放进进程内的 set 不够,因为进程重启后状态会丢失,多实例消费者之间也不共享。持久化表的唯一约束才是最终裁决点,应用层判断只是对数据库约束的封装。

用唯一约束挡住重复执行

下面程序连续发布两条内容完全相同的订单事件。消费者先尝试把 eventId 插入 processed_events;插入成功才执行“预留库存”业务写入,插入被唯一键忽略则直接判定为重复消息。幂等记录与业务操作放在同一事务中,避免只记录了“已处理”却没有真正完成业务。

python
import json
import sqlite3
import uuid

import pika

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host="localhost", port=5672)
)
channel = connection.channel()
queue_name = channel.queue_declare(queue="", exclusive=True).method.queue

event_id = str(uuid.uuid4())
order_id = str(uuid.uuid4())
body = json.dumps(
    {"eventId": event_id, "orderId": order_id, "action": "reserve-stock"}
).encode()

# 模拟同一业务事件被重复投递两次。
channel.basic_publish(exchange="", routing_key=queue_name, body=body)
channel.basic_publish(exchange="", routing_key=queue_name, body=body)

db = sqlite3.connect("idempotency-demo.db")
db.execute(
    "CREATE TABLE IF NOT EXISTS processed_events "
    "(event_id TEXT PRIMARY KEY, processed_at TEXT DEFAULT CURRENT_TIMESTAMP)"
)
db.execute(
    "CREATE TABLE IF NOT EXISTS order_actions "
    "(id INTEGER PRIMARY KEY AUTOINCREMENT, order_id TEXT NOT NULL, action TEXT NOT NULL)"
)

def consume_one():
    method, _, raw = channel.basic_get(queue=queue_name, auto_ack=False)
    if method is None:
        raise RuntimeError("未读取到测试消息")

    payload = json.loads(raw.decode())
    try:
        db.execute("BEGIN")
        cursor = db.execute(
            "INSERT OR IGNORE INTO processed_events(event_id) VALUES (?)",
            (payload["eventId"],),
        )

        if cursor.rowcount == 0:
            db.rollback()
            channel.basic_ack(delivery_tag=method.delivery_tag)
            print(f"DUPLICATE: event_id={payload['eventId']}, skip business action")
            return

        db.execute(
            "INSERT INTO order_actions(order_id, action) VALUES (?, ?)",
            (payload["orderId"], payload["action"]),
        )
        db.commit()
        channel.basic_ack(delivery_tag=method.delivery_tag)
        print(f"EXECUTE: event_id={payload['eventId']}, action={payload['action']}")
    except Exception:
        db.rollback()
        channel.basic_nack(delivery_tag=method.delivery_tag, requeue=False)
        raise

consume_one()
consume_one()

count = db.execute(
    "SELECT COUNT(*) FROM order_actions WHERE order_id = ?",
    (order_id,),
).fetchone()[0]
print(f"ACTION COUNT: {count}")

db.close()
connection.close()

预期输出:

text
EXECUTE: event_id=<ID>, action=reserve-stock
DUPLICATE: event_id=<ID>, skip business action
ACTION COUNT: 1

两行中的 event_id 实际值相同,但每次运行生成的 ID 不同。最终计数为 1,说明相同事件虽然投递两次,业务副作用只发生一次。

为什么不能先查询再决定是否执行

“先 SELECT 看有没有,再 INSERT”存在竞态:两个消费者可能同时查到不存在,然后都执行业务操作。正确做法是把唯一约束交给数据库原子裁决,并把幂等记录与业务写入放进同一事务。

如果业务数据本身已经有天然唯一键,也可以直接依赖业务表约束,但要确认这个键真的代表同一个事件。订单号通常标识一张订单,却不一定能区分“创建订单”“支付成功”“取消订单”等不同事件,因此独立 eventId 往往更安全。

ACK 与幂等要一起设计

首次处理成功时,顺序应是“写入幂等记录和业务数据 → 提交事务 → ACK”。重复消息命中已处理记录后,不再执行副作用,可以直接 ACK。若事务失败,则回滚后进入 NACK 或重试分支,不能提前写下永久的“已处理”状态。

生产环境应把 processed_events 放到所有消费者都能访问的持久化数据库,并根据业务量设计清理策略。幂等不会阻止重复投递,它保证的是重复投递发生时,订单状态、库存扣减、积分发放等副作用不会被重复执行。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

为重复订单消息加入幂等

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通