PostgreSQL / 系统课时

理解 WAL 到订阅端的传播

理解 WAL 到订阅端的传播

逻辑复制真正要掌握的不是“发布端把 SQL 发到订阅端”,而是一次已提交变更如何从 WAL 被解码、过滤、传输并重新应用。把这条链路看清后,复制延迟、槽位积压和 Apply Worker 异常就有了明确的定位位置。

学习目标

  • 说清 WAL、逻辑解码、pgoutput、WAL sender 与 Apply Worker 的职责边界。
  • 沿 LSN 判断变更已经生成、发送还是应用到订阅端。
  • 识别初始同步、复制槽和 DDL/序列等容易误判的边界。

从一次提交开始

假设发布端事务把一行订单从 pending 更新为 paid。PostgreSQL 首先按正常事务路径生成 WAL;逻辑复制不会把原始 UPDATE 文本直接转发,也不是把数据页复制到目标库,而是从 WAL 中恢复出发布范围内的逻辑行变更。

发布端的 WAL sender 为逻辑复制启动逻辑解码,标准输出插件 pgoutput 再依据 publication 过滤表和操作类型,把变更编码成逻辑复制协议消息。订阅端接收后,由 Apply Worker 映射到同名目标表并按事务提交顺序应用。

WAL 到订阅端的逻辑复制传播链路

复制槽为什么会影响 WAL 保留

逻辑复制槽的核心作用是保存消费进度,并让发布端知道哪些 WAL 仍可能被订阅者需要。它不是把每条业务变更复制一份存进“槽内队列”。如果订阅端长时间离线或应用速度很慢,槽位确认位置推进不及时,发布端就可能持续保留旧 WAL,最终表现为磁盘占用增长。

因此排查复制问题时要同时观察两个方向:发布端看槽是否活跃以及 confirmed_flush_lsn 是否前进,订阅端看 worker 是否存在、最近接收到哪个发布端 LSN。只有两端一起看,才能区分“源端还没发”“网络/worker 没收到”和“订阅端应用停住”。

用 LSN 观察传播进度

下面的查询分别在发布端和订阅端执行。示例假设逻辑复制已经建立;<ID> 替换为实际复制槽或订阅名称。

发布端查看逻辑复制槽:

sql
SELECT
    slot_name,
    plugin,
    active,
    restart_lsn,
    confirmed_flush_lsn,
    pg_size_pretty(
        pg_wal_lsn_diff(pg_current_wal_lsn(), confirmed_flush_lsn)
    ) AS approx_unconfirmed_wal
FROM pg_replication_slots
WHERE slot_type = 'logical'
  AND slot_name = '<ID>';

预期结果:

text
 slot_name | plugin   | active | restart_lsn | confirmed_flush_lsn | approx_unconfirmed_wal
-----------+----------+--------+-------------+---------------------+-----------------------
 <ID>      | pgoutput | t      | <LSN>       | <LSN>               | <VALUE>

active = true 说明当前有复制连接使用该槽;confirmed_flush_lsn 持续前进通常表示订阅端持续反馈进度。approx_unconfirmed_wal 是基于当前 WAL 位置的近似观察值,不能直接等同于业务消息数量。

订阅端查看 Apply Worker:

sql
SELECT
    subname,
    pid,
    relid::regclass AS syncing_relation,
    received_lsn,
    latest_end_lsn,
    latest_end_time
FROM pg_stat_subscription
WHERE subname = '<ID>';

预期结果:

text
 subname | pid   | syncing_relation | received_lsn | latest_end_lsn | latest_end_time
---------+-------+------------------+--------------+----------------+----------------
 <ID>    | <PID> |                  | <LSN>        | <LSN>          | <TIME>

实际 PID、LSN 和时间会不同。正常持续复制时,worker 存在且 LSN 会随发布端新事务推进;如果发布端槽位积压扩大,而订阅端没有有效 worker 或 LSN 长时间不动,应继续检查订阅状态、目标表约束冲突、权限和网络。

初始同步不是同一条工作路径

创建订阅并复制已有数据时,PostgreSQL 会为待同步表启动专用的 Table Sync Worker。它先复制快照中的既有数据,再追赶复制期间产生的增量变化;同步完成后,该表才交回主 Apply Worker 持续处理。

这解释了一个常见现象:迁移初期看到多个同步 worker 或额外复制槽,并不代表配置重复。此时既要关注基线复制速度,也要关注同步期间新增 WAL 的增长速度;如果基线复制永远赶不上持续写入,切换窗口就无法自然出现。

传播链路的几个边界

逻辑复制主要传递表数据变化,而不是完整数据库对象状态。发布端的 DDL 不会自动在订阅端执行,序列当前值也不会随表行一起推进;准备迁移时必须单独管理模式变更与序列同步。对于 UPDATE 和 DELETE,发布表还需要可用的 replica identity,通常由主键承担。

把一次变更定位为“WAL 已生成、已解码发送、已接收、已应用”四个阶段,比只看一个总延迟数字更有用。故障出现时,先找到 LSN 停在哪一段,再检查对应进程与资源,才能避免把所有问题都归因于“逻辑复制慢”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解 WAL 到订阅端的传播

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通