消息队列 / 系统课时
消费者幂等应该怎样设计
消费者幂等应该怎样设计
RabbitMQ 可能因为消费者重连、确认丢失或重试而再次投递同一业务消息。消费者不能把“收到一次”当成“业务只执行一次”,而要把去重条件和业务写入放进可持久化、可并发校验的状态中,让重复消息最终变成无副作用的重复请求。
学习目标
- 能区分消息重复投递与业务重复执行,并选择合适的幂等键
- 能用唯一约束、状态判断或去重记录阻止重复扣款、重复建单
- 能把数据库提交与 RabbitMQ
ack的顺序设计正确
幂等保护的对象是业务副作用
所谓消费者幂等,不是保证消息只送达一次,而是保证同一个业务意图被处理多次时,最终状态与处理一次相同。真正需要保护的是扣款、发券、创建订单、增加库存等有副作用的动作。
例如“支付单 payment-20260919-001 扣款 25 元”被投递两次,消费者可以执行两次读取和校验,但数据库中的余额只能减少一次。此时最重要的标识不是 RabbitMQ 的投递次数,而是能够稳定代表这次业务动作的业务唯一键。
常见实现有三类:业务表本身用唯一约束阻止重复创建;已有业务对象用状态机判断当前状态是否允许再次执行;或者单独建立消费记录表,先抢占业务唯一键,再执行副作用。三者都应把判重依据落到持久化存储中,而不是只放在进程内存里。
把判重和业务写入放在同一事务
下面用 PostgreSQL 演示“消费记录 + 业务更新”的核心做法。processed_message 的联合主键同时限定消费者和业务键,两个并发消费者即使同时收到重复消息,也只有一个事务能够成功插入去重记录。
DROP TABLE IF EXISTS processed_message;
DROP TABLE IF EXISTS payment_account;
CREATE TABLE payment_account (
account_id BIGINT PRIMARY KEY,
balance_cents BIGINT NOT NULL
);
CREATE TABLE processed_message (
consumer_name TEXT NOT NULL,
business_key TEXT NOT NULL,
processed_at TIMESTAMPTZ NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY (consumer_name, business_key)
);
INSERT INTO payment_account(account_id, balance_cents)
VALUES (1, 10000);
BEGIN;
WITH claimed AS (
INSERT INTO processed_message(consumer_name, business_key)
VALUES ('billing-consumer', 'payment-20260919-001')
ON CONFLICT DO NOTHING
RETURNING 1
)
UPDATE payment_account
SET balance_cents = balance_cents - 2500
WHERE account_id = 1
AND EXISTS (SELECT 1 FROM claimed);
COMMIT;
BEGIN;
WITH claimed AS (
INSERT INTO processed_message(consumer_name, business_key)
VALUES ('billing-consumer', 'payment-20260919-001')
ON CONFLICT DO NOTHING
RETURNING 1
)
UPDATE payment_account
SET balance_cents = balance_cents - 2500
WHERE account_id = 1
AND EXISTS (SELECT 1 FROM claimed);
COMMIT;
SELECT balance_cents FROM payment_account WHERE account_id = 1;
SELECT COUNT(*) AS processed_count
FROM processed_message
WHERE consumer_name = 'billing-consumer'
AND business_key = 'payment-20260919-001';预期结果如下;不同 SQL 客户端对列对齐方式可能不同,但余额应只扣减一次,去重记录也只能有一条。
balance_cents
---------------
7500
processed_count
-----------------
1这个示例的关键不是 ON CONFLICT 本身,而是去重记录和业务更新属于同一个数据库事务。如果业务更新失败,事务应整体回滚,使该业务键可以在后续重试中重新处理;不能先永久写入“已消费”,再让真正的业务操作失败。

ACK 必须晚于本地事务提交
一个稳妥的顺序是:收到消息,开始本地事务,完成判重与业务写入,提交事务,最后发送 ack。如果数据库提交前就 ack,随后进程崩溃,RabbitMQ 会认为消息已经处理完成,却没有机会重新投递。
反过来,即使数据库已经提交,ack 在网络中丢失,RabbitMQ 仍可能再次投递。这正是消费者必须幂等的原因:第二次处理看到同一业务键已存在,只做无副作用确认即可。
选择幂等键时看业务语义
理想的幂等键应该在所有重试、重新投递和补偿流程中保持稳定,并且只代表一次业务意图。例如支付流水号、订单创建请求号、退款单号都比“某次投递生成的随机 UUID”更合适。
如果业务本身已经有唯一约束,例如 order_no 只能创建一次,优先复用业务表约束;如果动作依赖状态变化,例如订单只能从 PAID 进入 REFUNDING 一次,应使用条件更新或版本号保护状态迁移;只有当业务表无法自然承载去重条件时,再增加独立消费记录表。
幂等设计的目标不是消灭重复消息,而是让重复消息没有重复副作用。只要判重条件可持久化、并发下可原子校验,并且 ack 晚于业务提交,消费者就能在至少一次投递语义下安全重试。