架构与系统设计 / 系统课时

用 Outbox 消除双写窗口

用 Outbox 消除双写窗口

订单已经确认,进程却在发送消息前崩溃,怎样保证事件仍可补发?Outbox 把订单变更与待发送事件放进同一本地事务,再由独立发布器重试投递。本篇用 PostgreSQL 验证原子写入,并说明重复消息和发布顺序为何还需要单独处理。

学习目标

  • 识别 Outbox 保证的原子性边界。
  • 用 SQL 将业务变更与事件记录一起提交或回滚。
  • 设计先确认后标记的发布流程,验证重试与消费幂等。

把双写窗口改成可恢复的积压

普通双写无论先写数据库还是先发消息,中间都可能崩溃:前者可能漏发,后者可能通知一个最终回滚的业务操作。Outbox 的做法是先在数据库中持久化发布意图,再由独立进程发送,而不是让数据库与消息中间件共享本地事务。([microservices.io][1])

关键不是“两张表在同一个库”,而是两次写入使用同一个数据库事务。业务提交后再插入 Outbox,或者仅注册提交后发送回调,都不能提供这两次写入的原子性。事务应同时保存业务状态和对应事件。([PostgreSQL][2])

提交成功不等于消费者已经处理成功。记录没有提前丢弃、发布器持续重试且基础设施恢复,是最终补发的前提;Outbox 消除的是无法补发的双写窗口,而不是数据库与下游之间的传播延迟。([AWS 文档][3])

Outbox 的本地事务边界与确认后重发窗口

先验证一次本地原子提交

以下脚本在 PostgreSQL 16 的空白练习数据库中执行,连接需有建表权限。订单号与 UUID 是固定测试值;生产环境应为每个新事件生成唯一标识,投递重试时复用原标识。这里不依赖消息中间件。

sql
CREATE TABLE orders_demo (
  order_id text PRIMARY KEY,
  status text NOT NULL,
  total_cents bigint NOT NULL CHECK (total_cents >= 0)
);

CREATE TABLE outbox_demo (
  event_id uuid PRIMARY KEY,
  aggregate_id text NOT NULL,
  event_type text NOT NULL,
  payload jsonb NOT NULL,
  created_at timestamptz NOT NULL DEFAULT now(),
  published_at timestamptz
);

-- 轮询只扫描待发布记录,减少对已完成记录的重复遍历。
CREATE INDEX outbox_demo_pending_idx
  ON outbox_demo (created_at, event_id)
  WHERE published_at IS NULL;

-- 初始化在业务事务之外,便于观察回滚后仍保留待确认订单。
INSERT INTO orders_demo
VALUES ('order-demo-001', 'PENDING', 9900);

BEGIN;
-- 只有状态实际改变,才从 RETURNING 结果生成对应事件。
WITH confirmed AS (
  UPDATE orders_demo
  SET status = 'CONFIRMED'
  WHERE order_id = 'order-demo-001'
    AND status = 'PENDING'
  RETURNING order_id, total_cents
)
INSERT INTO outbox_demo (
  event_id, aggregate_id, event_type, payload
)
SELECT '00000000-0000-4000-8000-000000000001'::uuid,
       order_id,
       'OrderConfirmed',
       jsonb_build_object(
         'schemaVersion', 1,
         'orderId', order_id,
         'totalCents', total_cents
       )
FROM confirmed;
COMMIT;

SELECT o.status,
       count(e.event_id) AS event_count,
       count(e.event_id) FILTER (
         WHERE e.published_at IS NULL
       ) AS pending_count
FROM orders_demo o
LEFT JOIN outbox_demo e ON e.aggregate_id = o.order_id
WHERE o.order_id = 'order-demo-001'
GROUP BY o.status;

预期结果:初始化插入 1 条待确认订单;业务事务确认该订单并生成 1 条待发布事件。最后一次查询如下,省略建表与提交的命令状态。

text
  status   | event_count | pending_count
-----------+-------------+---------------
 CONFIRMED |           1 |             1
(1 row)

RETURNING 把事件生成限定在实际更新的订单上,避免更新 0 行仍插入成功事件。本例的 payload 固定本次确认时的金额;发布器应携带事件标识、事件类型与该载荷,而不是发送时重新查询最新订单来拼装过去的事实。

发布器必须先确认,再标记完成

一个便于理解的发布循环可以采用以下顺序。它使用独立于业务请求的连接,只读取已提交的 Outbox 记录;下述流程是发布器的实现约定,不是前面 SQL 已经完成的功能。

  1. 开启发布事务,查询一条 published_at IS NULL 的记录,并使用 FOR UPDATE SKIP LOCKED 加锁;没有可领取记录就结束事务,稍后再查。该锁定方式适合多个工作进程竞争队列式数据。([PostgreSQL][4])
  2. 使用原 event_id 发送消息,将 aggregate_id 用作分区键或路由依据,等待与所选持久化策略匹配的中间件发布确认,不能把“进入客户端内存缓冲区”当成完成。
  3. 收到确认后更新 published_at,再提交发布事务。发送失败、超时或结果未知时回滚,并退避重试;不能先标记成功再发送,否则又会制造漏发窗口。([microservices.io][1])

这个最小方案在等待网络确认期间持有数据库事务,适合先验证正确性。需要提高吞吐时,可设计短事务领取和可过期租约,但领取不等于发送成功;还必须防止旧持有者误改新租约,并允许租约过期后的重复投递。

重复与顺序仍要单独处理

中间件已经接收消息,但发布器尚未提交 published_at 时崩溃,记录恢复后仍是待发布状态。此时必须重发,所以这一发布流程按至少一次投递设计,不能宣称端到端恰好一次。([microservices.io][1])

消费者可在本地事务中写入带唯一约束的 (consumer_name, event_id) 处理记录,只有首次登记成功才更新业务状态,两者一起提交后再确认消费。不能用“先查是否处理过,再无约束地执行”替代原子去重。([microservices.io][5])

发布顺序也不是只写一个 ORDER BY 就能保证:多发布器跳过锁时可能先发送后续记录。同一订单要求严格有序时,应增加订单内递增版本,并按订单串行发布、串行处理;消息分区键不会修复进入中间件之前已经发生的乱序。([PostgreSQL][4])

用故障注入验收可靠性

第一项把主示例的 COMMIT 改成 ROLLBACK,在新练习库执行。后两项需要接入上述发布器与支持发布确认的消息中间件,在指定位置暂停或终止发布进程。每次实验使用独立测试数据。

故障注入位置 应观察到的状态 恢复验收
业务事务回滚 订单为 PENDING,事件数为 0 不应发布确认事件
业务提交后、发送前 订单已确认,存在待发布记录 重启发布器后能够补发
发布确认后、完成标记提交前 中间件已接收,记录仍可能待发布 重发同一事件,消费者业务只生效一次

上线后监控待发布数量、最老待发布记录年龄和连续失败次数。重试耗尽应进入告警或人工处置,而不是丢弃记录;完成记录也应按排障与回放需求保留。可靠性来自原子写入、可恢复发布和消费幂等共同成立,而不是仅仅增加一张表。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Outbox 消除双写窗口

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通