PostgreSQL / 技术文章
PostgreSQL 逻辑复制是如何传递增量的
逻辑复制持续阶段并不是定时比较两端表,而是把源库事务产生的 WAL 解码为行级变更,再在订阅端按事务重新执行。面向已经会配置 Publication、Subscription 的数据库与后端工程师,读完可以沿着 WAL、逻辑解码、复制槽、协议消息、apply worker 与 replication origin 解释一笔增量如何落地,并判断重连、崩溃和大事务下哪些位置意味着“已产生”“已发送”“已应用”。
增量从 WAL 出发,而不是从表扫描
持续复制阶段的输入不是“源表当前长什么样”,而是事务执行时写入 WAL 的变更记录。walsender 从逻辑复制槽允许的位置开始读取 WAL,启动 logical decoding,再由内置输出插件 pgoutput 把存储层记录转换成逻辑复制协议消息,并按照 Publication 过滤需要发送的表和操作。订阅端因此得到的是从某个日志位置向前连续推进的变更流,而不是周期性做表级 diff。:contentReference[oaicite:0]{index=0}
链路可以压缩成下面这条主线:
业务事务
-> WAL
-> logical decoding
-> pgoutput + Publication 过滤
-> streaming replication protocol
-> subscriber apply worker
-> 订阅端本地事务提交这也解释了为什么“初始数据复制”和“持续增量复制”是两个不同阶段:前者需要建立一致性快照并复制已有行,后者则持续消费此后产生的 WAL 变化;已有表同步完成后,增量最终交回主 apply worker 持续处理。:contentReference[oaicite:1]{index=1}
解码出来的是事务级行变更,不是原始 SQL
WAL 并不保存一份可重新执行的原始 SQL 文本。logical decoding 会结合事务状态、系统目录和 tuple 信息,把底层日志还原成“哪个 relation 上发生了什么行变化”。pgoutput 再把它编码为逻辑复制协议:一个普通事务由 Begin 开始,中间出现 Relation、Insert、Update、Delete、Truncate 等消息,最后以 Commit 结束;因此事务边界是协议的一等信息。:contentReference[oaicite:2]{index=2}
对于 UPDATE 和 DELETE,订阅端必须能定位旧行。默认通常依赖主键所对应的 replica identity;若没有合适的标识,发布端无法为这些操作提供足够的旧行身份信息。这里的关键不是“复制 SQL”,而是“复制能够重新构造行级效果的数据”。
大事务还有一个容易混淆的点:在支持并启用 in-progress transaction streaming 的场景里,事务尚未提交时就可以分段传输,协议会出现 Stream Start、Stream Stop,最终以 Stream Commit 或 Stream Abort 收束。这改善的是发送与应用大事务时的内存和延迟行为,并没有把远端事务边界拆掉;最终是否提交仍由源事务结果决定。:contentReference[oaicite:3]{index=3}
复制槽保存的是消费位置,不是一份独立消息队列
逻辑复制槽可以理解为“这条变更流消费到哪里、为继续解码最早还需要哪里”的持久状态。它不会为每个订阅额外保存一份完整业务消息副本;真正占空间的通常仍是被槽保护而不能回收的 WAL,以及 logical decoding 为事务重组需要的相关状态。复制槽与连接生命周期独立,消费者断开后槽仍会存在并继续阻止必要资源被过早清理。:contentReference[oaicite:4]{index=4}
观察槽时最重要的两个 LSN 是:
restart_lsn:该槽仍可能需要的最老 WAL 位置,决定了发布端至少要保留到哪里。confirmed_flush_lsn:逻辑消费者已经向发布端确认接收进度的位置;从复制协议重新开始时,服务端会结合客户端请求位置与该确认位置决定实际起点。:contentReference[oaicite:5]{index=5}
因此,订阅端停得越久,restart_lsn 越可能落后于当前 WAL,发布端保留的 WAL 也越多。复制槽不是无限保险箱:如果配置了 WAL 保留上限并导致必需 WAL 被移除,槽可能进入 lost 等不可继续使用的状态,此时不能再依靠原槽无缝补齐缺口。:contentReference[oaicite:6]{index=6}
订阅端用本地事务落地,并用 origin 记住远端进度
收到逻辑消息后,apply worker 会把 relation 映射到订阅端本地表,并在本地数据库中执行对应的行级变化。对于单个 Subscription,PostgreSQL 按发布端提交顺序应用事务,从而保持该订阅范围内的事务一致性;apply 进程运行时的 session_replication_role 为 replica,因此默认触发器和规则的行为与普通应用连接并不完全相同。:contentReference[oaicite:7]{index=7}
订阅端还需要回答另一个问题:“远端哪个 LSN 已经在本地重放过?”这由 replication origin 进度承担。pg_replication_origin_status.remote_lsn 表示来自源端的进度,local_lsn 则把这个远端位置关联到订阅端本地 WAL 位置。它与发布端复制槽的 confirmed_flush_lsn 是相关但不同的状态:前者描述订阅端已经重放到哪里,后者描述发布端认为消费者已经确认到哪里。:contentReference[oaicite:8]{index=8}
默认逻辑复制是异步链路,所以发布端一次 COMMIT 成功,并不等于订阅端此刻已经应用完成。判断可靠性时必须把“源端已提交”“消息已收到”“订阅端已应用”拆成不同阶段,而不能只看业务事务是否在发布端成功。
重连不会天然丢数据,但也不要把它理解成任意消费者的 exactly-once
复制槽是 crash-safe 的,但逻辑槽当前位置只在检查点等时机持久化;发布端崩溃恢复后,槽可能回到稍早的 LSN,于是近期变更会再次发送。PostgreSQL 文档明确要求 logical decoding 客户端能够承受这种重复。也就是说,逻辑解码在正常运行时按顺序消费,并不等价于“任何外部副作用都天然 exactly-once”。:contentReference[oaicite:9]{index=9}
内置 Subscription 之所以比自写 CDC 消费者更省心,是因为 apply 使用数据库事务并配合 replication origin 跟踪远端进度;而自定义消费者若把消息写入 Kafka、搜索引擎或调用外部 API,就需要自己设计“业务副作用”和“已消费 LSN”的原子关系或幂等策略,否则发布端重发同一段变化时可能产生重复效果。
反过来,只要逻辑槽仍有效、所需 WAL 仍被保留,网络断开或消费者短暂停止通常只是让积压增大,并不会让发布端主动跳过这段变化;真正会破坏连续性的典型动作是删除或错误推进槽、让槽因 WAL 保留限制而失效,或者人工跳过冲突事务。会产生错误的订阅端冲突还可能直接停止 apply,直到问题被处理。:contentReference[oaicite:10]{index=10}
用三组 LSN 还原一笔增量到底走到哪里
理解机制后,排查不应只问“延迟多少秒”,而应同时看发布端 WAL 位置、复制槽位置和订阅端接收/重放位置。下面两组 SQL 足够把链路拆开观察。
发布端查看逻辑槽:
SELECT
slot_name,
active,
restart_lsn,
confirmed_flush_lsn,
wal_status,
pg_size_pretty(
pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)
) AS wal_retained_from_restart
FROM pg_replication_slots
WHERE slot_type = 'logical'
ORDER BY slot_name;pg_current_wal_lsn() 与 restart_lsn 的差值反映的是整个实例从该位置以来产生的 WAL 量,不等同于 Publication 真正发送的业务增量字节数,但它很适合判断槽正在给 WAL 回收施加多大压力。confirmed_flush_lsn 长时间不前进,则说明消费者确认进度没有推进。:contentReference[oaicite:11]{index=11}
订阅端查看接收状态与 replication origin:
SELECT
subname,
pid,
relid::regclass AS syncing_relation,
received_lsn,
latest_end_lsn,
latest_end_time
FROM pg_stat_subscription
ORDER BY subname, pid;
SELECT
external_id,
remote_lsn,
local_lsn
FROM pg_replication_origin_status
ORDER BY external_id;received_lsn 用来判断数据是否已经到达订阅端 worker,latest_end_lsn 是最近向源端报告的 WAL 结束位置,而 origin 的 remote_lsn 更接近“远端事务已在本地重放到哪里”的语义。把这些值与发布端槽位置一起看,才能区分问题是在解码/发送、网络接收,还是本地 apply。:contentReference[oaicite:12]{index=12}
最终可以用一句话概括可靠性边界:WAL 提供可重放的事实来源,logical decoding 把它恢复成事务级行变化,复制槽负责不让消费者尚需的历史过早消失,apply worker 用本地事务落地,replication origin 记录已重放位置;只要这几个位置连续且资源未被错误清理,逻辑复制就能在断连后继续追平,但崩溃重放、订阅端冲突和自定义外部副作用仍需要显式设计幂等与恢复策略。