消息队列 / 系统课时

数据库事务和发消息如何一致

数据库事务和发消息如何一致

业务写库和向 RabbitMQ 发布消息分属两个系统,不能靠一个普通数据库事务同时保证。真正要解决的是:数据库已经提交但消息没发出去,或消息已发出但业务事务回滚。常见做法是用 Outbox 把“业务状态”和“待发送消息”先写进同一个本地事务,再由独立发布器可靠转发。

学习目标

  • 识别“写库成功、发消息失败”等双写不一致场景
  • 理解 Outbox 如何把跨系统一致性问题拆成两个可恢复步骤
  • 知道发布确认、重试和消费幂等分别解决链路中的哪一段风险

为什么直接“先写库再发消息”不可靠

最直观的代码通常是先提交数据库,再调用 RabbitMQ 客户端发布消息。问题在于两次操作之间存在故障窗口:数据库提交成功后,进程可能崩溃、网络可能中断,或者 Broker 暂时不可用。此时订单已经存在,但下游永远收不到“订单已创建”事件。

反过来先发消息再提交数据库也不安全。消息可能已经被消费者处理,而数据库事务随后回滚,于是下游看到了一个实际上不存在的业务结果。仅仅调整调用顺序,并不能消除两个独立系统之间的原子性缺口。

业务事务与消息发布之间的故障窗口

Outbox 的关键思路

Outbox 不尝试让数据库和 RabbitMQ 参加同一个事务,而是把“需要发送什么消息”也当成数据库状态。业务表和 Outbox 表在同一个本地事务中提交,因此二者要么同时成功,要么同时回滚。

下面用 PostgreSQL 演示最小模型。脚本创建订单表和 Outbox 表,再在一个事务里同时写入两条记录。

sql
DROP TABLE IF EXISTS message_outbox;
DROP TABLE IF EXISTS orders;

CREATE TABLE orders (
    id BIGINT PRIMARY KEY,
    status TEXT NOT NULL
);

CREATE TABLE message_outbox (
    id BIGINT PRIMARY KEY,
    event_type TEXT NOT NULL,
    aggregate_id BIGINT NOT NULL,
    payload TEXT NOT NULL,
    published BOOLEAN NOT NULL DEFAULT FALSE
);

BEGIN;

INSERT INTO orders (id, status)
VALUES (1001, 'CREATED');

INSERT INTO message_outbox (id, event_type, aggregate_id, payload)
VALUES (5001, 'OrderCreated', 1001, '{"orderId":1001}');

COMMIT;

SELECT o.id, o.status, m.event_type, m.published
FROM orders o
JOIN message_outbox m ON m.aggregate_id = o.id
WHERE o.id = 1001;

预期输出

text
  id  | status  |  event_type  | published
------+---------+--------------+-----------
 1001 | CREATED | OrderCreated | f

这一步保证的只有数据库内部原子性。published = false 表示消息还没有被确认发送,Relay 可以持续扫描这类记录并尝试发布。

Relay 发布时还要处理什么

Relay 从 Outbox 取出未发送记录后,应向 RabbitMQ 发布,并开启 Publisher Confirm。只有收到 Broker 的确认后,才能把对应记录标记为已发送;如果发布失败、超时或进程退出,则不要删除这条 Outbox 记录,让下一轮继续重试。

但确认也存在边界:Broker 可能已经接收消息,Relay 却在更新 published 前崩溃。重启后它会再次发送同一条消息,因此 Outbox 通常提供的是至少一次投递,而不是天然的“恰好一次”。

重复发送要靠消费者幂等兜底

既然 Relay 可能重复发布,消费者就必须能识别同一业务事件。常见做法是给事件保留稳定的消息 ID 或业务唯一键,消费者在自己的数据库事务中记录已处理 ID,再执行业务更新。重复消息再次到达时直接返回成功,而不是重复扣款、重复发券或重复创建记录。

因此这条链路中的职责可以明确分开:数据库事务保证“业务数据与 Outbox 记录一起落库”,Publisher Confirm 保证发布方知道 Broker 是否接收,重试保证暂时性故障可恢复,消费者幂等负责承受重复投递。它们组合起来,才形成可恢复的最终一致性方案。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

数据库事务和发消息如何一致

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通