Redis 与缓存 / 系统课时
设计幂等消费
设计幂等消费
Redis Streams 的重试、接管和重新投递都会让同一业务事件再次到达消费者。本课把业务幂等键、数据库唯一约束、事务边界与 XACK 顺序串成一条完整链路,让消息可以重复投递,但业务副作用只生效一次。
学习目标
- 能区分 Stream 消息 ID 与业务幂等键的职责。
- 能用唯一约束和数据库事务原子地保护业务副作用。
- 能解释数据库提交后再
XACK的原因,并识别跨系统副作用的额外边界。
先确定真正的幂等键
Redis Streams 的消息 ID,例如 1700000000001-0,唯一标识 Stream 中的一条 Entry,适合做投递追踪和排障,但它不一定等于业务事件身份。同一支付事件可能被重新发布并获得新的消息 ID,同一条消息也可能因消费者故障而再次投递。
因此,业务幂等应优先使用稳定的业务唯一键,例如 event_id、支付流水号或订单事件号;消息 ID 只作为辅助审计字段保存。这样既能挡住“同一消息重投”,也能挡住“同一业务事件换了一个 Stream ID 再发布”。

用 PostgreSQL 事务绑定去重与业务更新
下面的主示例以 PostgreSQL 16 为基线,ON CONFLICT 与 PL/pgSQL 都是 PostgreSQL 语法,不应直接照搬到 MySQL 等数据库。真正需要保证的是:抢到业务事件处理权、修改业务数据和写入完成状态必须属于同一个数据库事务。
processed_events.event_id 的主键充当并发裁判。函数先尝试插入 PROCESSING;只有首次插入成功的事务才继续修改订单。这里的 PROCESSING 不会先单独提交,它只是当前事务中的中间状态:订单更新失败时整笔事务回滚,去重记录也随之消失;订单更新成功时,状态在同一事务中改成 DONE。
CREATE TABLE orders (
order_id VARCHAR(64) PRIMARY KEY,
status VARCHAR(16) NOT NULL
CHECK (status IN ('PENDING', 'PAID'))
);
INSERT INTO orders (order_id, status)
VALUES ('order-10001', 'PENDING');
CREATE TABLE processed_events (
event_id VARCHAR(64) PRIMARY KEY,
message_id VARCHAR(64) NOT NULL,
status VARCHAR(16) NOT NULL
CHECK (status IN ('PROCESSING', 'DONE')),
processed_at TIMESTAMPTZ NOT NULL DEFAULT CURRENT_TIMESTAMP
);
CREATE OR REPLACE FUNCTION apply_payment(
p_event_id VARCHAR,
p_message_id VARCHAR,
p_order_id VARCHAR
)
RETURNS TEXT
LANGUAGE plpgsql
AS $$
DECLARE
accepted_event_id VARCHAR(64);
changed_rows INTEGER;
BEGIN
-- 唯一约束负责裁决两个消费者同时竞争同一业务事件。
INSERT INTO processed_events (event_id, message_id, status)
VALUES (p_event_id, p_message_id, 'PROCESSING')
ON CONFLICT (event_id) DO NOTHING
RETURNING event_id INTO accepted_event_id;
IF accepted_event_id IS NULL THEN
RETURN 'DUPLICATE';
END IF;
-- 业务更新与去重登记处于同一事务,任一步失败都不能留下半成品。
UPDATE orders
SET status = 'PAID'
WHERE order_id = p_order_id
AND status = 'PENDING';
GET DIAGNOSTICS changed_rows = ROW_COUNT;
IF changed_rows <> 1 THEN
RAISE EXCEPTION 'order % is not pending or does not exist', p_order_id;
END IF;
UPDATE processed_events
SET status = 'DONE',
processed_at = CURRENT_TIMESTAMP
WHERE event_id = p_event_id;
RETURN 'APPLIED';
END;
$$;
SELECT apply_payment(
'pay-10001',
'1700000000001-0',
'order-10001'
) AS result;
SELECT apply_payment(
'pay-10001',
'1700000000002-0',
'order-10001'
) AS result;
SELECT order_id, status
FROM orders
WHERE order_id = 'order-10001';
SELECT event_id, message_id, status
FROM processed_events
WHERE event_id = 'pay-10001';预期结果
result
---------
APPLIED
(1 row)
result
-----------
DUPLICATE
(1 row)
order_id | status
---------------+--------
order-10001 | PAID
(1 row)
event_id | message_id | status
-------------+---------------------+--------
pay-10001 | 1700000000001-0 | DONE
(1 row)第二次调用故意使用不同的 Stream 消息 ID,但业务键仍是 pay-10001,因此返回 DUPLICATE,订单不会再次生效。并发执行时,唯一约束也会把处理权收敛到一个事务;如果获胜事务最终回滚,去重行不会被提交,后续重试仍可重新取得处理权。
还要注意,PL/pgSQL 函数本身不是提交边界。它运行在调用方的数据库事务中:若连接使用自动提交,成功的 SELECT apply_payment(...) 结束后事务才提交;若应用显式开启事务,则必须等外层 COMMIT 真正成功后才能确认 Redis 消息。
数据库提交后再确认消息
Redis 与业务数据库通常不在同一个本地事务里,因此不应追求“两边同时提交”,而应接受至少一次投递,再由幂等事务消化重复。消费顺序应保持为:
- 用
XREADGROUP取得消息并解析event_id。 - 在业务数据库执行幂等事务。
- 等数据库事务真正提交成功;若结果为首次应用成功,或已确认该业务事件此前已经完成,再对当前消息执行
XACK。 - 数据库事务报错或提交失败时不要
XACK,让消息留在 PEL 中等待重试或接管。
最关键的故障窗口是“数据库已经提交,但消费者还没来得及 XACK 就崩溃”。消息之后会再次投递,但数据库中的业务唯一键会把它识别为重复,因此业务不会再次生效。XACK 负责结束 Redis 侧的待确认状态,数据库事务负责保护业务侧的一次性效果。
跨系统副作用不能只靠状态表
如果副作用不是同一个数据库里的更新,而是调用支付网关、发邮件或请求另一个服务,本地数据库事务无法回滚远端已经完成的动作。即使本地有 PROCESSING、DONE 状态,也不能仅凭状态表获得严格的一次性外部效果。
更稳妥的做法是把同一个 event_id 作为下游接口的幂等键;或者在本地事务中写入 Outbox,再由独立投递器发送。Outbox 能保证“业务变更”和“待发送事件”原子落库,但下游仍应支持幂等键或去重。没有共享事务、也没有下游幂等能力时,仅靠 Redis Streams 和本地状态表无法承诺外部副作用绝对只执行一次。
用故障场景验收幂等边界
验收时至少覆盖五种情况:同一 Stream 消息重复投递、同一 event_id 被重新发布成不同消息 ID、两个消费者同时竞争、消费者在数据库提交前崩溃,以及数据库提交后但 XACK 前崩溃。前四类用于验证事务与唯一约束,第五类专门验证“重复到达但不重复生效”。
如果副作用跨系统,还要测试远端成功但本地记录失败、请求超时但远端实际成功等不确定结果,并确认下游幂等键或补偿机制能够收敛。最终判断标准只有一个:消息可以重复到达,业务结果不能重复生效。