架构与系统设计 / 系统课时
给库存消费增加幂等和重试
给库存消费增加幂等和重试
库存已经扣减,消费者却在确认消息前断线,同一事件就会再次到达。本篇把幂等记录、库存变化和处理结果放进同一事务,再按失败性质安排延迟重试或死信隔离,验证重复投递不会重复扣减,失败也不会被悄悄跳过。
学习目标
- 使用稳定幂等键和数据库事务保护库存扣减。
- 区分重复投递、业务拒绝、暂时故障与不可处理消息。
- 设计可恢复的退避重试、死信交接与回放验收。
把幂等边界落在库存事务
本篇接收 OrderConfirmed 事件,要求包含 eventId、schemaVersion,以及 data 中的 orderId、sku、quantity。示例只处理契约版本 1 的单商品订单;进入数据库前应验证事件类型、必填字段和正整数数量。
幂等键采用 (consumer_name, event_id)。消费者名称表示稳定的业务处理职责,不能随进程或部署版本变化;event_id 必须沿用发送方标识,不能用每次投递产生的标签或重试次数替代。
先查询再扣减存在并发窗口。本例用数据库唯一约束争取处理权,再把幂等记录、条件扣减和结果事件放进同一个事务。PostgreSQL 的 ON CONFLICT 可以针对指定唯一约束处理冲突,而不是把所有数据库错误都当成重复。([PostgreSQL][8])

这里保护的是同一事件的重复投递。如果生产者把同一库存操作误生成两个不同事件 ID,还需要库存预占流水上的业务唯一键,例如订单行与预占轮次。单用订单号会误伤多商品或多轮合法操作,不能作为通用去重键。
用 SQL 验证重复投递
以下是 PostgreSQL 16 的完整数据库实验。在新测试库、启用自动提交且采用 READ COMMITTED 的会话执行。它不启动消息监听器;两次独立函数调用模拟同一消息的两次投递。固定 UUID、订单号和商品号都是测试常量。
result_outbox 保存待发处理结果,后台应沿用其 event_id 发布,收到 Broker 确认后再标记完成。它使库存不足也能成为可靠的业务结果,而不是只记一条日志;本实验只验证这些结果与库存事务一起落库。
CREATE SCHEMA inventory_demo;
CREATE TABLE inventory_demo.stock (
sku text PRIMARY KEY,
available integer NOT NULL CHECK (available >= 0)
);
CREATE TABLE inventory_demo.inbox (
consumer_name text NOT NULL,
event_id uuid NOT NULL,
order_id bigint NOT NULL,
sku text NOT NULL,
quantity integer NOT NULL CHECK (quantity > 0),
outcome text NOT NULL
CHECK (outcome IN ('PROCESSING', 'RESERVED', 'REJECTED')),
PRIMARY KEY (consumer_name, event_id)
);
CREATE TABLE inventory_demo.result_outbox (
event_id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
cause_event_id uuid NOT NULL UNIQUE,
event_type text NOT NULL,
payload jsonb NOT NULL,
state text NOT NULL DEFAULT 'PENDING'
);
INSERT INTO inventory_demo.stock VALUES ('SKU-1', 10);
CREATE FUNCTION inventory_demo.reserve(
p_event_id uuid, p_order_id bigint, p_sku text, p_quantity integer
) RETURNS text
LANGUAGE plpgsql
AS $$
DECLARE
v_inserted integer;
v_previous inventory_demo.inbox%ROWTYPE;
v_outcome text;
BEGIN
-- 参数错误不是可自动重试的库存争抢。
IF p_event_id IS NULL OR p_order_id IS NULL OR p_order_id <= 0
OR p_sku IS NULL OR btrim(p_sku) = ''
OR p_quantity IS NULL OR p_quantity <= 0 THEN
RAISE EXCEPTION USING
ERRCODE = '22023', MESSAGE = 'invalid reservation event';
END IF;
INSERT INTO inventory_demo.inbox
(consumer_name, event_id, order_id, sku, quantity, outcome)
VALUES
('inventory-reserve', p_event_id, p_order_id,
p_sku, p_quantity, 'PROCESSING')
ON CONFLICT (consumer_name, event_id) DO NOTHING;
GET DIAGNOSTICS v_inserted = ROW_COUNT;
IF v_inserted = 0 THEN
SELECT * INTO v_previous
FROM inventory_demo.inbox
WHERE consumer_name = 'inventory-reserve'
AND event_id = p_event_id;
-- 同一个事件ID不能对应另一份业务事实。
IF v_previous.order_id IS DISTINCT FROM p_order_id
OR v_previous.sku IS DISTINCT FROM p_sku
OR v_previous.quantity IS DISTINCT FROM p_quantity THEN
RAISE EXCEPTION USING
ERRCODE = '22023', MESSAGE = 'event payload mismatch';
END IF;
RETURN 'DUPLICATE:' || v_previous.outcome;
END IF;
-- 条件更新保护余额,不能先读库存再无条件覆盖。
UPDATE inventory_demo.stock
SET available = available - p_quantity
WHERE sku = p_sku AND available >= p_quantity;
IF FOUND THEN
v_outcome := 'RESERVED';
ELSE
IF NOT EXISTS (
SELECT 1 FROM inventory_demo.stock WHERE sku = p_sku
) THEN
RAISE EXCEPTION USING
ERRCODE = '22023', MESSAGE = 'unknown sku';
END IF;
v_outcome := 'REJECTED';
END IF;
UPDATE inventory_demo.inbox
SET outcome = v_outcome
WHERE consumer_name = 'inventory-reserve'
AND event_id = p_event_id;
-- 成功与库存不足都保存结果事件;函数不在事务内访问Broker。
INSERT INTO inventory_demo.result_outbox
(cause_event_id, event_type, payload)
VALUES (
p_event_id,
CASE WHEN v_outcome = 'RESERVED'
THEN 'StockReserved' ELSE 'StockReservationRejected' END,
jsonb_build_object(
'orderId', p_order_id, 'sku', p_sku,
'quantity', p_quantity, 'outcome', v_outcome
)
);
RETURN v_outcome;
END;
$$;
-- 自动提交使两次调用成为两个独立事务,模拟提交后丢失ACK。
SELECT inventory_demo.reserve(
'00000000-0000-0000-0000-000000000001', 1001, 'SKU-1', 3
) AS first_result;
SELECT inventory_demo.reserve(
'00000000-0000-0000-0000-000000000001', 1001, 'SKU-1', 3
) AS second_result;
SELECT s.available,
(SELECT count(*) FROM inventory_demo.inbox) AS inbox_rows,
(SELECT count(*) FROM inventory_demo.result_outbox) AS result_events
FROM inventory_demo.stock s
WHERE s.sku = 'SKU-1';预期结果,省略建表提示:
first_result
--------------
RESERVED
second_result
--------------------
DUPLICATE:RESERVED
available | inbox_rows | result_events
-----------+------------+---------------
7 | 1 | 1第二次投递既不再次扣减,也不再次生成结果事件。若事务中途失败,幂等占位也必须一起回滚;不能先单独提交“处理过了”,再去更新库存。
消息监听器必须在数据库提交确认成功之后发送 ACK,而不是看见函数返回 RESERVED 就提前确认。提交后 ACK 丢失造成的重投由幂等记录吸收;数据库提交与 ACK 之间仍然不是原子操作。ACK 发送失败不能反过来把已提交的业务标记为失败。([RabbitMQ][7])
按失败性质决定去向
不是所有失败都值得等待。库存不足是本例的终态业务拒绝;死锁和短暂断连才可能恢复。PostgreSQL 的 40001 表示序列化失败,40P01 表示死锁;重试时应重做完整事务,而非只重放最后一条 SQL。([PostgreSQL][9])
| 情况 | 本例处理方式 |
|---|---|
| 同一事件且业务字段相同 | 读取已有终态,不再次扣减,随后 ACK |
| 库存不足 | 提交 REJECTED 与拒绝结果事件,随后 ACK,不自动等补货 |
| 死锁、序列化失败、短暂连接故障 | 回滚或按提交结果未知处理,延迟重试 |
| 非法载荷、未知商品、同 ID 不同业务字段 | 可靠隔离并报警,不循环扣减 |
| 重试预算耗尽 | 转入死信隔离,等待人工决策 |
“未知商品”被归为不可处理,是本实验假定商品库存必须预先建立的结果。若你的系统允许商品数据异步到达,应另设有期限的等待策略,不能照搬分类。
持久化退避与死信交接
本设计采用数据库重试任务表和死信隔离表。重试任务保存原始消息、消费者名、event_id、累计尝试次数、下次执行时间和错误类别,并以消费者名、事件 ID、目标尝试次数建立唯一约束,防止交接重投生成重复任务。
演示预算设为最多 5 轮应用处理,首次为第 1 轮;按持久化轮次计数,消息重投或进程重启不能重置预算。第 次失败后,仅在 时安排下一次,延迟从 0 到 秒均匀随机选择。这里增加随机性是为了分散同批失败的重试时刻;参数应根据恢复时间和业务时限调整。
以下为片段示例:调度伪代码,说明消息监听器与持久化调度组件的协作,不是可直接执行的框架 API。业务函数使用上一节的事务逻辑;调度表、隔离表及工作者需要在实际服务中实现。
读取消息;若契约校验失败:
持久化死信隔离记录并提交;确认成功后ACK并结束
读取并核对持久化处理进度,首次处理轮次为1
若同一标识对应不同业务载荷:
可靠隔离并报警;隔离提交成功后ACK并结束
若相同载荷的本轮消息已完成可靠交接:
不重复执行该轮;ACK重复原消息并结束
尝试业务处理:
在一个事务内处理幂等记录、库存和结果事件
提交确认成功后ACK并结束
遇到不可处理的业务载荷错误:
回滚业务事务,持久化死信隔离记录
隔离事务提交确认成功后ACK并结束
遇到可重试故障:
回滚尚未完成的业务事务
若本轮编号小于5:
持久化下一轮任务和本轮交接状态,保留原eventId
否则:
持久化死信隔离记录及耗尽状态
交接事务提交确认成功后ACK原消息
任何提交结果不确定或无法可靠保存交接记录:
不ACK,暂停消费并退避恢复,之后仍用原eventId处理预期结果:重复投递不会重复改变库存;暂时故障不会在 ACK 后只留下进程内定时器。调度器到期发布原消息,收到发布确认后才完成任务;确认不确定时保留任务重试,目标消费者仍按原幂等键处理。
不要把直接重新入队当成退避:basic.nack 使用 requeue=true 时,消息可能立即再次投递,形成高频失败循环。数据库不可用时应停止继续拉取并控制恢复节奏,而不是一边无法保存重试任务、一边不断确认原消息。([RabbitMQ][5])
死信至少保存原始载荷、来源、事件标识、错误原因、累计次数和处理记录。若改用 RabbitMQ 的 DLX,要单独检查转发可靠性;默认死信转发并不自动获得发布确认保护,不能仅凭“配置了死信队列”就认为不会丢。([RabbitMQ][10])
用回滚实验检查确认时机
在主示例执行完、库存为 7 后,运行下面的事务。它使用另一条固定测试事件,刻意放弃本次提交;这也说明函数返回业务结果,不代表调用者已经提交事务。
BEGIN;
SELECT inventory_demo.reserve(
'00000000-0000-0000-0000-000000000002', 1002, 'SKU-1', 2
) AS provisional_result;
-- 模拟事务未完成,不能为这次调用发送成功ACK。
ROLLBACK;
-- 验证提交后的状态,而不是函数曾经返回的临时结果。
SELECT s.available,
(SELECT count(*) FROM inventory_demo.inbox
WHERE event_id = '00000000-0000-0000-0000-000000000002'
) AS committed_rows,
(SELECT count(*) FROM inventory_demo.result_outbox
WHERE cause_event_id = '00000000-0000-0000-0000-000000000002'
) AS result_events
FROM inventory_demo.stock s
WHERE s.sku = 'SKU-1';预期结果,省略事务命令提示:
provisional_result
--------------------
RESERVED
available | committed_rows | result_events
-----------+----------------+---------------
7 | 0 | 0生产验收还应覆盖提交后丢失 ACK、重试服务重启和预算耗尽:库存效果仍只发生一次,未到期任务仍可恢复,耗尽消息能够定位到隔离记录。回放原消息时保留事件 ID 和原载荷;需要更正业务事实时另发更正事件,不通过删除幂等记录强行重扣。
幂等记录及已完成调度记录的保留窗口,应覆盖消息保留、重试和人工回放可能造成的最迟到达时间。只有业务终态或可靠交接已经持久化,才有资格确认原消息。