消息队列 / 系统课时
为重复订单消息加入幂等
为重复订单消息加入幂等
RabbitMQ 在网络抖动、消费者重启或 ACK 丢失时可能重新投递同一条订单消息。可靠消费不能假设“消息只来一次”,而应让同一业务事件重复到达时只执行一次副作用。本节用事件唯一标识和数据库唯一约束完成这一层保护。
学习目标
- 能为订单事件选择稳定的幂等键并持久化处理状态
- 能用数据库唯一约束阻止重复消息再次执行订单操作
- 理解幂等记录、业务写入与 ACK 应如何配合
幂等键与处理状态必须持久化
幂等键应标识“同一个业务事件”,而不是某次投递。常见做法是由生产者生成 eventId,消费者把它写入持久化表,并给该列建立唯一约束。只要多个消费者共享同一数据库,重复事件就会争用同一个唯一键,而不是各自在内存里判断。

只把 eventId 放进进程内的 set 不够,因为进程重启后状态会丢失,多实例消费者之间也不共享。持久化表的唯一约束才是最终裁决点,应用层判断只是对数据库约束的封装。
用唯一约束挡住重复执行
下面程序连续发布两条内容完全相同的订单事件。消费者先尝试把 eventId 插入 processed_events;插入成功才执行“预留库存”业务写入,插入被唯一键忽略则直接判定为重复消息。幂等记录与业务操作放在同一事务中,避免只记录了“已处理”却没有真正完成业务。
import json
import sqlite3
import uuid
import pika
connection = pika.BlockingConnection(
pika.ConnectionParameters(host="localhost", port=5672)
)
channel = connection.channel()
queue_name = channel.queue_declare(queue="", exclusive=True).method.queue
event_id = str(uuid.uuid4())
order_id = str(uuid.uuid4())
body = json.dumps(
{"eventId": event_id, "orderId": order_id, "action": "reserve-stock"}
).encode()
# 模拟同一业务事件被重复投递两次。
channel.basic_publish(exchange="", routing_key=queue_name, body=body)
channel.basic_publish(exchange="", routing_key=queue_name, body=body)
db = sqlite3.connect("idempotency-demo.db")
db.execute(
"CREATE TABLE IF NOT EXISTS processed_events "
"(event_id TEXT PRIMARY KEY, processed_at TEXT DEFAULT CURRENT_TIMESTAMP)"
)
db.execute(
"CREATE TABLE IF NOT EXISTS order_actions "
"(id INTEGER PRIMARY KEY AUTOINCREMENT, order_id TEXT NOT NULL, action TEXT NOT NULL)"
)
def consume_one():
method, _, raw = channel.basic_get(queue=queue_name, auto_ack=False)
if method is None:
raise RuntimeError("未读取到测试消息")
payload = json.loads(raw.decode())
try:
db.execute("BEGIN")
cursor = db.execute(
"INSERT OR IGNORE INTO processed_events(event_id) VALUES (?)",
(payload["eventId"],),
)
if cursor.rowcount == 0:
db.rollback()
channel.basic_ack(delivery_tag=method.delivery_tag)
print(f"DUPLICATE: event_id={payload['eventId']}, skip business action")
return
db.execute(
"INSERT INTO order_actions(order_id, action) VALUES (?, ?)",
(payload["orderId"], payload["action"]),
)
db.commit()
channel.basic_ack(delivery_tag=method.delivery_tag)
print(f"EXECUTE: event_id={payload['eventId']}, action={payload['action']}")
except Exception:
db.rollback()
channel.basic_nack(delivery_tag=method.delivery_tag, requeue=False)
raise
consume_one()
consume_one()
count = db.execute(
"SELECT COUNT(*) FROM order_actions WHERE order_id = ?",
(order_id,),
).fetchone()[0]
print(f"ACTION COUNT: {count}")
db.close()
connection.close()预期输出:
EXECUTE: event_id=<ID>, action=reserve-stock
DUPLICATE: event_id=<ID>, skip business action
ACTION COUNT: 1两行中的 event_id 实际值相同,但每次运行生成的 ID 不同。最终计数为 1,说明相同事件虽然投递两次,业务副作用只发生一次。
为什么不能先查询再决定是否执行
“先 SELECT 看有没有,再 INSERT”存在竞态:两个消费者可能同时查到不存在,然后都执行业务操作。正确做法是把唯一约束交给数据库原子裁决,并把幂等记录与业务写入放进同一事务。
如果业务数据本身已经有天然唯一键,也可以直接依赖业务表约束,但要确认这个键真的代表同一个事件。订单号通常标识一张订单,却不一定能区分“创建订单”“支付成功”“取消订单”等不同事件,因此独立 eventId 往往更安全。
ACK 与幂等要一起设计
首次处理成功时,顺序应是“写入幂等记录和业务数据 → 提交事务 → ACK”。重复消息命中已处理记录后,不再执行副作用,可以直接 ACK。若事务失败,则回滚后进入 NACK 或重试分支,不能提前写下永久的“已处理”状态。
生产环境应把 processed_events 放到所有消费者都能访问的持久化数据库,并根据业务量设计清理策略。幂等不会阻止重复投递,它保证的是重复投递发生时,订单状态、库存扣减、积分发放等副作用不会被重复执行。