架构与系统设计 / 系统课时

用 CDC 发布事件有什么代价

用 CDC 发布事件有什么代价

不再轮询待发送记录,改为读取数据库日志,是否就能省掉消息可靠性的工作?CDC 能承担变化捕获与转发,但会引入日志保留、连接器恢复和数据模型耦合。本篇区分业务表 CDC 与 Outbox 加 CDC,并用复制槽查询检查关键恢复条件。

学习目标

  • 区分数据库行变化与具有业务含义的事件。
  • 比较直接捕获业务表和捕获 Outbox 的契约边界。
  • 使用 PostgreSQL 查询识别日志保留风险,理解其监控边界。

CDC 捕获什么,不理解什么

CDC 是变化数据捕获。以 PostgreSQL 16 为例,逻辑解码从预写日志 WAL 中提取表变化,连接器将这些变化转换并发送到消息系统;应用不必再对每次数据库修改执行一次独立的消息发送。([PostgreSQL][6])

这里关注基于日志的 CDC:持续捕获链路发布已提交事务对应的变化,初始化也可能读取一致性快照。连接器能够识别插入、更新和删除,却不会自动判断哪次更新代表“订单确认”这类业务事实。([Debezium][7])

这意味着工作没有消失,而是改变了归属:数据库负责提供可恢复的变化来源,连接器负责读取和转发,业务方仍要决定事件契约以及消费者应该执行什么动作。

行更新不能直接等同于订单确认

片段示例:下面摘取 Debezium PostgreSQL 更新消息中的部分字段,不是完整消息,也不是可执行请求。<ID> 代表实际订单标识,金额是固定示例值。

json
{
  "op": "u",
  "source": {
    "schema": "public",
    "table": "orders"
  },
  "after": {
    "order_id": "<ID>",
    "status": "CONFIRMED",
    "total_cents": 9900
  }
}

op 为 u 表示更新,after 表示更新后的行数据。验证时应从实际捕获的订单更新消息中核对这些字段;它们说明发生了行变化,而没有直接说明这次业务操作叫什么。([Debezium][7])

例如,订单早已确认,后来只修改了备注,更新后的状态仍是 CONFIRMED。因此,仅判断更新后的状态就触发发货,会把无关修改误认成新的确认事件;字段名、状态编码和拆表方式也会变成消费者依赖的协议。

初始化快照中的 op=r 表示读取已有状态,并不表示此刻发生了一次新业务操作。需要识别状态迁移时,还要确认连接器是否提供所需的旧值,不能假设每条消息都有完整 before。([Debezium][7])

捕获业务表还是捕获 Outbox

直接捕获业务表时,消费者接收到的是存储模型的变化。捕获 Outbox 时,业务代码先把明确的事件与业务数据放进同一本地事务,CDC 再负责搬运事件记录。Outbox 解决写入原子性,CDC 是实现异步发布的一种方式,两者并不互斥。([microservices.io][1])

直接捕获业务表与捕获 Outbox 的契约边界对比

Debezium 的 Outbox Event Router 默认把 aggregateid 用作消息键,把事件 id 放入消息头,并把 payload 用作消息值。采用其他列名时需要配置映射;该组件不会替业务表推导事件含义。([Debezium][8])

按这一组件的约定,业务事件通过插入记录产生,不应照搬轮询发布器反复更新发送状态的设计。这样隔离了业务表重构,但 Outbox 的字段、事件版本、清理与回放规则仍需维护,并不是完全没有契约成本。([Debezium][8])

发布逻辑减少,运维责任增加

数据库侧需要启用逻辑复制、配置可用的复制槽和发送进程容量,并授予必要权限。首次快照还需要安排扫描负载和切换策略;减少应用中的发送代码,并不意味着数据库完全没有额外开销。([Debezium][7])

复制槽即使暂时无人连接,也可能继续要求数据库保留日志,造成磁盘压力。设置保留上限能限制风险,但连接器落后太多时可能失去继续读取所需的 WAL;需要把最长中断时间、日志增长量和恢复追赶能力一起规划。([PostgreSQL][6])

恢复还涉及持久化读取位点和重复处理。逻辑复制在崩溃恢复后可能重新发送部分变化;消费者依然需要幂等。数据库切换或重建连接器时,应核对日志、复制槽与已保存位点是否仍能衔接,不能只看连接器是否启动。([PostgreSQL][6])

契约维护则要明确责任人:业务表改名、字段类型改变或状态含义调整前,先评估消费者依赖;原始行变化还可能带出不该共享的字段。建议按用途限制捕获范围,并把敏感字段审查纳入变更流程。

用复制槽查询检查恢复条件

以下是可独立执行的只读查询。在 PostgreSQL 16 主库上,使用能查看复制槽的账号连接目标数据库,查询当前数据库的逻辑槽。无需创建业务表,也不会创建或删除复制槽。([PostgreSQL][9])

sql
-- 仅检查当前数据库的逻辑复制槽。
SELECT slot_name,
       active,
       wal_status,
       -- 字节跨度用于观察保留压力,不代表业务事件数量。
       pg_wal_lsn_diff(
         pg_current_wal_lsn(), restart_lsn
       )::bigint AS retained_bytes
FROM pg_replication_slots
WHERE slot_type = 'logical'
  AND database = current_database()
ORDER BY slot_name;

预期结果:没有匹配槽时返回 0 行。若存在一个活跃且日志状态为 reserved 的槽,结果格式如下;<ID> 是实际槽名,<BYTES> 是动态字节数,实际行数和状态可能不同。

text
 slot_name | active | wal_status | retained_bytes
-----------+--------+------------+----------------
 <ID>      | t      | reserved   | <BYTES>
(1 row)

retained_bytes 是当前 WAL 写入位置与 restart_lsn 的距离,可能包含未捕获表产生的日志,不能当作磁盘目录精确大小、消息条数或端到端延迟。若结果为空值,应检查槽状态,而不是把它解释为零积压。([PostgreSQL][10])

active=t 只表示复制槽正在被使用,不证明消息已被业务消费者处理。wal_status=lost 表示该槽已不可用,不能靠普通重连补齐缺口;应启动恢复流程,并核对哪些业务事实仍有持久化来源可供补发。([PostgreSQL][9])

验证时可在测试环境短暂停止连接器并持续产生少量写入,观察日志保留跨度,再恢复连接器检查是否追上。跨度不要求立即归零;验收还应核对测试变更是否到达,以及重复数据是否被正确处理。

业务表的重新快照反映的是存量状态,不能证明日志缺口内的历史业务事件全部补齐。需要恢复这些事件时,应核对是否仍有完整的 Outbox 记录或事件归档,不能把状态恢复等同于历史行为回放。

据此选型:需要镜像行状态时,可以评估业务表 CDC;需要传递明确业务事实时,更适合评估 Outbox 加 CDC。没有日志恢复运维能力时,轮询 Outbox 可能是更可控的起点。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 CDC 发布事件有什么代价

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通