消息队列 / 系统课时

跨系统一致性边界

跨系统一致性边界

Kafka 事务可以原子地处理 Kafka 内部的“消费、生产、提交 offset”,数据库事务也能保证数据库内部原子性,但二者默认没有共同提交点。本节从这个边界出发,比较 Outbox、CDC 与补偿流程,帮助你为“数据库成功但消息失败”这类问题选择可靠方案。

学习目标

  • 能解释 Kafka 事务与数据库事务为什么不能天然合并
  • 能根据一致性需求选择 Outbox、CDC 或补偿流程
  • 能识别跨系统流程中的失败窗口与可恢复点

两个事务系统没有共同原子点

假设服务要完成两件事:先把订单写入数据库,再向 Kafka 发布 OrderCreated。如果数据库事务已经提交,而 Kafka 发送失败,就会出现“数据存在、事件缺失”;如果先发 Kafka,再写数据库,则可能出现“事件已发布、数据回滚”。

Kafka 的 transactional.id 能把 Kafka 内部的多次发送和 offset 提交绑定在同一事务里,但普通关系型数据库并不会参加这个 Kafka 事务。数据库的 COMMIT 与 Kafka 的事务提交是两个独立动作,只要它们之间存在进程崩溃、网络超时或服务重启,就存在不一致窗口。

Kafka 与数据库的跨系统一致性边界

Outbox 把原子性收缩到数据库

Outbox 的关键是把“业务数据”和“待发布事件”写进同一个数据库事务。只要数据库提交成功,两条记录就同时存在;后续发布器可以反复扫描未发送事件,发送成功后再标记状态。即使发布器崩溃,也只是重复发送风险,不再是永久丢消息风险。

下面用 PostgreSQL 演示同一事务内同时写订单和 Outbox 事件。

sql
DROP TABLE IF EXISTS outbox_event;
DROP TABLE IF EXISTS orders;

CREATE TABLE orders (
    order_id bigint PRIMARY KEY,
    status varchar(20) NOT NULL
);

CREATE TABLE outbox_event (
    event_id varchar(64) PRIMARY KEY,
    aggregate_id bigint NOT NULL,
    event_type varchar(64) NOT NULL,
    published boolean NOT NULL DEFAULT false
);

BEGIN;

INSERT INTO orders(order_id, status)
VALUES (1001, 'CREATED');

INSERT INTO outbox_event(event_id, aggregate_id, event_type)
VALUES ('evt-order-1001-created', 1001, 'OrderCreated');

COMMIT;

SELECT o.order_id, o.status, e.event_id, e.published
FROM orders o
JOIN outbox_event e ON e.aggregate_id = o.order_id
WHERE o.order_id = 1001;

预期结果:订单和待发布事件要么同时存在,要么都不存在;本例提交成功后可查到一条未发布事件。

text
 order_id | status  |         event_id          | published
----------+---------+---------------------------+-----------
     1001 | CREATED | evt-order-1001-created    | f
(1 row)

发布器必须按“至少一次”设计:发送 Kafka 成功后,如果还没来得及把 published 改成 true 就崩溃,下一轮仍可能再次发送。因此下游消费者仍需要业务幂等,Outbox 解决的是事件不丢,不等于自动得到全链路 exactly-once。

CDC 适合把变更日志当事件源

CDC 不要求业务代码显式轮询 Outbox,而是从数据库的 WAL、binlog 等提交日志读取变更,再转换为 Kafka 事件。它的优势是对业务写路径侵入较小,且能稳定捕获已提交数据;代价是需要维护 CDC 连接器、表结构映射、位点和事件格式。

若直接对业务表做 CDC,要确认“行变化”是否真的等价于“业务事件”。例如订单表的一次字段修正可能产生数据库变更,却未必应该被解释为新的领域事件。需要明确业务语义时,常见做法仍是写 Outbox 表,再由 CDC 只采集 Outbox。

补偿流程处理不可原子化的副作用

支付、短信、第三方 SaaS 等外部系统通常既不能参加数据库事务,也不能参加 Kafka 事务。此时不要追求一个不存在的全球原子事务,而要把流程设计成“可检测、可重试、可补偿”。

适合补偿的动作应具备可识别的业务 ID,并记录每一步状态。例如订单创建成功后调用物流失败,可以保留订单并重试创建运单;如果业务要求整单撤销,则发送补偿命令关闭订单。补偿不是数据库 ROLLBACK 的替代品,它是对已经发生的跨系统事实执行新的反向业务动作。

选择方案看故障后的恢复方式

当核心要求是“数据库提交后事件不能丢”,Outbox 通常是最直接的默认方案;当组织已有成熟 CDC 平台、希望低侵入地把数据库变更流入 Kafka,可采用 CDC,必要时结合 Outbox 保留领域语义;当流程包含无法共同提交的远程副作用,就需要状态机、重试和补偿。

因此,Kafka 事务最适合解决 Kafka 内部原子性,数据库事务解决单库原子性;一旦事务边界跨出单个系统,就应通过 Outbox、CDC、幂等与补偿,把“一次性成功”改造成“失败后仍可收敛到正确状态”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

跨系统一致性边界

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通