消息队列 / 系统课时

消费者幂等应该怎样设计

消费者幂等应该怎样设计

RabbitMQ 可能因为消费者重连、确认丢失或重试而再次投递同一业务消息。消费者不能把“收到一次”当成“业务只执行一次”,而要把去重条件和业务写入放进可持久化、可并发校验的状态中,让重复消息最终变成无副作用的重复请求。

学习目标

  • 能区分消息重复投递与业务重复执行,并选择合适的幂等键
  • 能用唯一约束、状态判断或去重记录阻止重复扣款、重复建单
  • 能把数据库提交与 RabbitMQ ack 的顺序设计正确

幂等保护的对象是业务副作用

所谓消费者幂等,不是保证消息只送达一次,而是保证同一个业务意图被处理多次时,最终状态与处理一次相同。真正需要保护的是扣款、发券、创建订单、增加库存等有副作用的动作。

例如“支付单 payment-20260919-001 扣款 25 元”被投递两次,消费者可以执行两次读取和校验,但数据库中的余额只能减少一次。此时最重要的标识不是 RabbitMQ 的投递次数,而是能够稳定代表这次业务动作的业务唯一键。

常见实现有三类:业务表本身用唯一约束阻止重复创建;已有业务对象用状态机判断当前状态是否允许再次执行;或者单独建立消费记录表,先抢占业务唯一键,再执行副作用。三者都应把判重依据落到持久化存储中,而不是只放在进程内存里。

把判重和业务写入放在同一事务

下面用 PostgreSQL 演示“消费记录 + 业务更新”的核心做法。processed_message 的联合主键同时限定消费者和业务键,两个并发消费者即使同时收到重复消息,也只有一个事务能够成功插入去重记录。

sql
DROP TABLE IF EXISTS processed_message;
DROP TABLE IF EXISTS payment_account;

CREATE TABLE payment_account (
    account_id BIGINT PRIMARY KEY,
    balance_cents BIGINT NOT NULL
);

CREATE TABLE processed_message (
    consumer_name TEXT NOT NULL,
    business_key TEXT NOT NULL,
    processed_at TIMESTAMPTZ NOT NULL DEFAULT CURRENT_TIMESTAMP,
    PRIMARY KEY (consumer_name, business_key)
);

INSERT INTO payment_account(account_id, balance_cents)
VALUES (1, 10000);

BEGIN;

WITH claimed AS (
    INSERT INTO processed_message(consumer_name, business_key)
    VALUES ('billing-consumer', 'payment-20260919-001')
    ON CONFLICT DO NOTHING
    RETURNING 1
)
UPDATE payment_account
SET balance_cents = balance_cents - 2500
WHERE account_id = 1
  AND EXISTS (SELECT 1 FROM claimed);

COMMIT;

BEGIN;

WITH claimed AS (
    INSERT INTO processed_message(consumer_name, business_key)
    VALUES ('billing-consumer', 'payment-20260919-001')
    ON CONFLICT DO NOTHING
    RETURNING 1
)
UPDATE payment_account
SET balance_cents = balance_cents - 2500
WHERE account_id = 1
  AND EXISTS (SELECT 1 FROM claimed);

COMMIT;

SELECT balance_cents FROM payment_account WHERE account_id = 1;
SELECT COUNT(*) AS processed_count
FROM processed_message
WHERE consumer_name = 'billing-consumer'
  AND business_key = 'payment-20260919-001';

预期结果如下;不同 SQL 客户端对列对齐方式可能不同,但余额应只扣减一次,去重记录也只能有一条。

text
 balance_cents
---------------
          7500

 processed_count
-----------------
               1

这个示例的关键不是 ON CONFLICT 本身,而是去重记录和业务更新属于同一个数据库事务。如果业务更新失败,事务应整体回滚,使该业务键可以在后续重试中重新处理;不能先永久写入“已消费”,再让真正的业务操作失败。

消费者幂等事务与确认流程

ACK 必须晚于本地事务提交

一个稳妥的顺序是:收到消息,开始本地事务,完成判重与业务写入,提交事务,最后发送 ack。如果数据库提交前就 ack,随后进程崩溃,RabbitMQ 会认为消息已经处理完成,却没有机会重新投递。

反过来,即使数据库已经提交,ack 在网络中丢失,RabbitMQ 仍可能再次投递。这正是消费者必须幂等的原因:第二次处理看到同一业务键已存在,只做无副作用确认即可。

选择幂等键时看业务语义

理想的幂等键应该在所有重试、重新投递和补偿流程中保持稳定,并且只代表一次业务意图。例如支付流水号、订单创建请求号、退款单号都比“某次投递生成的随机 UUID”更合适。

如果业务本身已经有唯一约束,例如 order_no 只能创建一次,优先复用业务表约束;如果动作依赖状态变化,例如订单只能从 PAID 进入 REFUNDING 一次,应使用条件更新或版本号保护状态迁移;只有当业务表无法自然承载去重条件时,再增加独立消费记录表。

幂等设计的目标不是消灭重复消息,而是让重复消息没有重复副作用。只要判重条件可持久化、并发下可原子校验,并且 ack 晚于业务提交,消费者就能在至少一次投递语义下安全重试。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

消费者幂等应该怎样设计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通