架构与系统设计 / 系统课时

用 Outbox 保证事件发布

用 Outbox 保证事件发布

业务数据已经提交、事件却还没发出去,是跨服务一致性里最危险的短暂窗口之一。本节用 Transactional Outbox 把业务写入和待发布事件放进同一本地事务,再由独立发布器可靠转发,从而消除“数据库成功、消息丢失”的断点。

学习目标

  • 解释直接“先写数据库、再发消息”为什么存在不可消除的失败窗口
  • 用同一本地事务原子写入业务表和 Outbox 表
  • 正确处理 Outbox 的重复发布、顺序、清理与消费端幂等

先定位不一致窗口

常见实现先提交订单,再调用消息代理发布 OrderCreated。如果进程恰好在两步之间崩溃,订单已经永久存在,但下游永远收不到事件;若改成先发消息再提交数据库,则可能出现下游已处理事件、订单却回滚的相反问题。

Transactional Outbox 的做法是:业务服务只对自己的数据库开启一个本地事务,在同一事务中同时写业务表和 Outbox 表。事务提交后,独立 Relay 再读取未发布记录并发送到消息代理。这样“业务记录存在但 Outbox 不存在”的状态不会被提交。

Transactional Outbox 的提交与发布链路

用本地事务原子写两张表

下面示例以 PostgreSQL 为例,创建最小订单表和 Outbox 表,然后在一个事务中写入订单和对应事件。<ID> 与 <EVENT_ID> 是动态标识,实际值应由应用生成。

sql
DROP TABLE IF EXISTS outbox_events;
DROP TABLE IF EXISTS orders;

CREATE TABLE orders (
  order_id text PRIMARY KEY,
  status text NOT NULL
);

CREATE TABLE outbox_events (
  event_id text PRIMARY KEY,
  aggregate_id text NOT NULL,
  event_type text NOT NULL,
  payload jsonb NOT NULL,
  published_at timestamptz
);

BEGIN;

INSERT INTO orders(order_id, status)
VALUES ('<ID>', 'CREATED');

INSERT INTO outbox_events(event_id, aggregate_id, event_type, payload)
VALUES (
  '<EVENT_ID>',
  '<ID>',
  'OrderCreated',
  '{"orderId":"<ID>","status":"CREATED"}'
);

COMMIT;

SELECT
  o.order_id,
  o.status,
  e.event_type,
  e.published_at
FROM orders o
JOIN outbox_events e ON e.aggregate_id = o.order_id;

预期结果

text
 order_id | status  |  event_type  | published_at
----------+---------+--------------+--------------
 <ID>     | CREATED | OrderCreated |

查询能同时看到订单与待发布事件,说明两者已经一起提交。真正重要的是原子性:如果事务中任意一条写入失败,整个事务回滚,业务状态和待发布消息不会只留下其中一半。

Relay 如何把记录送到消息代理

Relay 可以是应用内后台任务、独立进程,也可以由 CDC 读取数据库变更。它只处理 published_at IS NULL 的记录:取出事件、发送到消息代理,确认发送成功后再把 published_at 写成实际时间 <TIME>。轮询实现通常还会使用批量读取与行锁,避免多个 Relay 重复抢同一批记录。

这里仍然存在一个允许的失败窗口:消息已经发送成功,但 Relay 在标记 published_at 之前崩溃。重启后它会再次发布同一事件。因此 Outbox 解决的是消息不丢,并不自动等于端到端“恰好一次”。

处理顺序、积压和清理

如果同一聚合的事件有先后关系,例如 OrderCreated 后必须再有 OrderPaid,Outbox 记录应增加聚合版本号或单调序号,并让 Relay 对同一 aggregate_id 按版本发布。不要仅依赖数据库自增主键推断所有业务对象之间的全局顺序。

运行时至少要监控三项:未发布记录数量、最老未发布记录的年龄、发布失败次数。数量持续增长说明 Relay 吞吐不足或消息代理不可用;“最老年龄”比单纯行数更能直接反映业务延迟。

已成功发布的 Outbox 记录不能无限保留。可以按时间分区并定期归档或删除,也可以把历史搬到审计存储,但清理动作必须晚于确定的重试窗口,不能让仍可能重发的事件提前消失。

Outbox 的边界

Outbox 最适合“一个服务只需要保证自己的数据库状态与自己发布的事件一致”的场景。它不替代跨服务事务,也不会自动替你完成 Saga 补偿、消费者幂等或业务级顺序控制。

如果系统已经有成熟 CDC 基础设施,可以让 CDC 直接捕获 Outbox 表变化,减少应用轮询;如果没有,简单 Relay 也足够可靠。无论采用哪种方式,核心不变:业务写入与事件意图同事务提交,事件投递允许重复但不能丢失。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Outbox 保证事件发布

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通