架构与系统设计 / 系统课时
用 Outbox 消除双写窗口
用 Outbox 消除双写窗口
订单已经确认,进程却在发送消息前崩溃,怎样保证事件仍可补发?Outbox 把订单变更与待发送事件放进同一本地事务,再由独立发布器重试投递。本篇用 PostgreSQL 验证原子写入,并说明重复消息和发布顺序为何还需要单独处理。
学习目标
- 识别 Outbox 保证的原子性边界。
- 用 SQL 将业务变更与事件记录一起提交或回滚。
- 设计先确认后标记的发布流程,验证重试与消费幂等。
把双写窗口改成可恢复的积压
普通双写无论先写数据库还是先发消息,中间都可能崩溃:前者可能漏发,后者可能通知一个最终回滚的业务操作。Outbox 的做法是先在数据库中持久化发布意图,再由独立进程发送,而不是让数据库与消息中间件共享本地事务。([microservices.io][1])
关键不是“两张表在同一个库”,而是两次写入使用同一个数据库事务。业务提交后再插入 Outbox,或者仅注册提交后发送回调,都不能提供这两次写入的原子性。事务应同时保存业务状态和对应事件。([PostgreSQL][2])
提交成功不等于消费者已经处理成功。记录没有提前丢弃、发布器持续重试且基础设施恢复,是最终补发的前提;Outbox 消除的是无法补发的双写窗口,而不是数据库与下游之间的传播延迟。([AWS 文档][3])

先验证一次本地原子提交
以下脚本在 PostgreSQL 16 的空白练习数据库中执行,连接需有建表权限。订单号与 UUID 是固定测试值;生产环境应为每个新事件生成唯一标识,投递重试时复用原标识。这里不依赖消息中间件。
CREATE TABLE orders_demo (
order_id text PRIMARY KEY,
status text NOT NULL,
total_cents bigint NOT NULL CHECK (total_cents >= 0)
);
CREATE TABLE outbox_demo (
event_id uuid PRIMARY KEY,
aggregate_id text NOT NULL,
event_type text NOT NULL,
payload jsonb NOT NULL,
created_at timestamptz NOT NULL DEFAULT now(),
published_at timestamptz
);
-- 轮询只扫描待发布记录,减少对已完成记录的重复遍历。
CREATE INDEX outbox_demo_pending_idx
ON outbox_demo (created_at, event_id)
WHERE published_at IS NULL;
-- 初始化在业务事务之外,便于观察回滚后仍保留待确认订单。
INSERT INTO orders_demo
VALUES ('order-demo-001', 'PENDING', 9900);
BEGIN;
-- 只有状态实际改变,才从 RETURNING 结果生成对应事件。
WITH confirmed AS (
UPDATE orders_demo
SET status = 'CONFIRMED'
WHERE order_id = 'order-demo-001'
AND status = 'PENDING'
RETURNING order_id, total_cents
)
INSERT INTO outbox_demo (
event_id, aggregate_id, event_type, payload
)
SELECT '00000000-0000-4000-8000-000000000001'::uuid,
order_id,
'OrderConfirmed',
jsonb_build_object(
'schemaVersion', 1,
'orderId', order_id,
'totalCents', total_cents
)
FROM confirmed;
COMMIT;
SELECT o.status,
count(e.event_id) AS event_count,
count(e.event_id) FILTER (
WHERE e.published_at IS NULL
) AS pending_count
FROM orders_demo o
LEFT JOIN outbox_demo e ON e.aggregate_id = o.order_id
WHERE o.order_id = 'order-demo-001'
GROUP BY o.status;预期结果:初始化插入 1 条待确认订单;业务事务确认该订单并生成 1 条待发布事件。最后一次查询如下,省略建表与提交的命令状态。
status | event_count | pending_count
-----------+-------------+---------------
CONFIRMED | 1 | 1
(1 row)RETURNING 把事件生成限定在实际更新的订单上,避免更新 0 行仍插入成功事件。本例的 payload 固定本次确认时的金额;发布器应携带事件标识、事件类型与该载荷,而不是发送时重新查询最新订单来拼装过去的事实。
发布器必须先确认,再标记完成
一个便于理解的发布循环可以采用以下顺序。它使用独立于业务请求的连接,只读取已提交的 Outbox 记录;下述流程是发布器的实现约定,不是前面 SQL 已经完成的功能。
- 开启发布事务,查询一条
published_at IS NULL的记录,并使用FOR UPDATE SKIP LOCKED加锁;没有可领取记录就结束事务,稍后再查。该锁定方式适合多个工作进程竞争队列式数据。([PostgreSQL][4]) - 使用原
event_id发送消息,将aggregate_id用作分区键或路由依据,等待与所选持久化策略匹配的中间件发布确认,不能把“进入客户端内存缓冲区”当成完成。 - 收到确认后更新
published_at,再提交发布事务。发送失败、超时或结果未知时回滚,并退避重试;不能先标记成功再发送,否则又会制造漏发窗口。([microservices.io][1])
这个最小方案在等待网络确认期间持有数据库事务,适合先验证正确性。需要提高吞吐时,可设计短事务领取和可过期租约,但领取不等于发送成功;还必须防止旧持有者误改新租约,并允许租约过期后的重复投递。
重复与顺序仍要单独处理
中间件已经接收消息,但发布器尚未提交 published_at 时崩溃,记录恢复后仍是待发布状态。此时必须重发,所以这一发布流程按至少一次投递设计,不能宣称端到端恰好一次。([microservices.io][1])
消费者可在本地事务中写入带唯一约束的 (consumer_name, event_id) 处理记录,只有首次登记成功才更新业务状态,两者一起提交后再确认消费。不能用“先查是否处理过,再无约束地执行”替代原子去重。([microservices.io][5])
发布顺序也不是只写一个 ORDER BY 就能保证:多发布器跳过锁时可能先发送后续记录。同一订单要求严格有序时,应增加订单内递增版本,并按订单串行发布、串行处理;消息分区键不会修复进入中间件之前已经发生的乱序。([PostgreSQL][4])
用故障注入验收可靠性
第一项把主示例的 COMMIT 改成 ROLLBACK,在新练习库执行。后两项需要接入上述发布器与支持发布确认的消息中间件,在指定位置暂停或终止发布进程。每次实验使用独立测试数据。
| 故障注入位置 | 应观察到的状态 | 恢复验收 |
|---|---|---|
| 业务事务回滚 | 订单为 PENDING,事件数为 0 | 不应发布确认事件 |
| 业务提交后、发送前 | 订单已确认,存在待发布记录 | 重启发布器后能够补发 |
| 发布确认后、完成标记提交前 | 中间件已接收,记录仍可能待发布 | 重发同一事件,消费者业务只生效一次 |
上线后监控待发布数量、最老待发布记录年龄和连续失败次数。重试耗尽应进入告警或人工处置,而不是丢弃记录;完成记录也应按排障与回放需求保留。可靠性来自原子写入、可恢复发布和消费幂等共同成立,而不是仅仅增加一张表。