PostgreSQL / 技术文章

PostgreSQL 流复制如何传递 WAL

PostgreSQL 流复制出现延迟、主库故障或备库追平问题时,DBA、SRE 与后端工程师真正需要判断的不是“复制是否开启”,而是 WAL 已经走到了发送、接收、持久化还是回放阶段。理解这条链路后,可以把 sent_lsn、write_lsn、flush_lsn、replay_lsn 与事务确认、复制延迟和故障切换的数据边界对应起来。

流复制传递的是 WAL,不是 SQL

PostgreSQL 物理流复制以 WAL(Write-Ahead Log)为核心。主库修改数据页之前,先生成描述这些变化的 WAL 记录,并按照 WAL 的持久化规则写入 pg_wal。备库不需要重新执行原始 INSERT、UPDATE 或 DELETE SQL,而是接收主库产生的 WAL,再由恢复进程按相同的物理变化重放。

这意味着物理流复制关注的是数据库集群的物理状态演进,而不是业务语句本身。表数据、索引页以及大多数需要通过 WAL 恢复的存储变化,都沿同一条日志历史向备库传播。因此,判断主备是否接近一致,核心问题可以转化为:主库已经产生到哪个 LSN,备库已经接收、持久化并回放到哪个 LSN。

LSN(Log Sequence Number)可以理解为 WAL 字节流中的位置标识。两个 LSN 之间的距离可以表示尚未完成某个复制阶段的 WAL 字节量,但它并不直接等于时间延迟。

WAL 从主库进入复制连接

业务事务在主库执行时会产生 WAL。WAL 先进入主库自身的日志链路,随后负责物理复制连接的 WAL Sender 根据备库请求,从相应 LSN 开始发送 WAL 数据。正常流复制建立后,主库可以通过 pg_stat_replication 观察每条复制连接的阶段进度。

sql
SELECT
    application_name,
    state,
    sent_lsn,
    write_lsn,
    flush_lsn,
    replay_lsn,
    sync_state
FROM pg_stat_replication;

典型结果可能呈现为:

text
 application_name |   state   | sent_lsn  | write_lsn | flush_lsn | replay_lsn | sync_state
------------------+-----------+-----------+-----------+-----------+------------+-----------
 standby1         | streaming | 0/5100028 | 0/5100028 | 0/5100028 | 0/50FFF80  | async

这里的 sent_lsn 表示 WAL Sender 已经发送到复制连接的最新位置。它不是“主库当前 WAL 的终点”,而是这条复制会话已经发送出去的进度。如果主库继续高速产生 WAL,当前 WAL 位置可能仍领先于 sent_lsn。

主库当前 WAL 生成位置可以单独查询:

sql
SELECT pg_current_wal_lsn();

把 pg_current_wal_lsn() 与 sent_lsn 比较,可以判断 WAL 是否已经在主库发送端形成积压;如果两者持续拉大,应进一步观察 WAL Sender、网络吞吐和备库接收能力,而不是直接把问题归因于备库回放。

备库依次接收、写入并持久化 WAL

WAL 经过复制连接到达备库后,由 WAL Receiver 接收。接收到的数据需要写入备库的 WAL 存储,并根据进度完成持久化。主库 pg_stat_replication 中的几个 LSN 正好描述了这一过程。

write_lsn 表示备库已经接收并写入的 WAL 位置;flush_lsn 表示已经持久化到稳定存储的 WAL 位置。正常情况下,可以把它们理解为一条逐步推进的边界:

sent_lsn → write_lsn → flush_lsn

如果 sent_lsn 明显领先于 write_lsn,积压主要位于网络传输或备库接收、写入一侧。如果 write_lsn 持续领先于 flush_lsn,说明 WAL 已经到达备库,但持久化进度跟不上,此时应重点关注备库 WAL 存储的 I/O 延迟、吞吐和系统压力。

备库也可以直接观察 WAL Receiver 状态:

sql
SELECT
    status,
    written_lsn,
    flushed_lsn,
    latest_end_lsn
FROM pg_stat_wal_receiver;

正常连接时通常可以看到 status 为 streaming,同时这些 LSN 随主库产生新 WAL 而持续推进。如果接收进度停止,而主库仍持续产生 WAL,问题边界就已经缩小到复制连接、认证、网络、WAL Sender 或 WAL Receiver 一带。

WAL 持久化之后还要经过回放

WAL 已经安全到达备库,并不意味着对应的数据变化已经对 Hot Standby 查询可见。备库还需要由恢复流程读取 WAL 并执行 replay,把 WAL 中描述的变化应用到数据页。

主库 pg_stat_replication.replay_lsn 表示备库已经报告的回放位置。在备库本地,可以查询接收和回放进度:

sql
SELECT
    pg_last_wal_receive_lsn() AS receive_lsn,
    pg_last_wal_replay_lsn() AS replay_lsn,
    pg_last_xact_replay_timestamp() AS last_replay_time;

如果接收位置不断前进,而回放位置明显落后,说明 WAL 传输链路本身仍然工作,瓶颈位于 replay 阶段。常见影响因素包括备库 I/O 压力、CPU 压力、大量 WAL 产生,以及 Hot Standby 查询与 WAL 回放发生恢复冲突。

因此,“复制延迟”并不是一个单一指标。sent_lsn - write_lsn、write_lsn - flush_lsn 和 flush_lsn - replay_lsn 分别指向不同阶段。只有先确定差距产生在哪一段,后续性能分析才有明确方向。

同步复制改变的是提交确认边界

异步复制与同步复制使用的仍然是同一条 WAL 发送、接收和回放链路,区别主要在于主库什么时候允许事务向客户端报告提交成功。

异步复制通常不会等待备库确认 WAL 已经到达。主库事务完成本地提交条件后即可向客户端返回,而对应 WAL 可能仍在主库等待发送、正在网络中传输,或者尚未在备库持久化。因此,如果主库在这段窗口内永久丢失,最近已经向客户端确认成功的事务仍可能没有出现在可提升的备库上。

同步复制则让事务提交等待某种备库确认。具体等待到接收、持久化还是回放阶段,由 synchronous_commit 等配置决定。例如常用的 on 会让同步事务等待所选同步备库将相关 WAL 刷到稳定存储后再完成确认,而 remote_apply 会进一步等待 WAL 在备库完成回放。

所以,同步复制并不是另一种 WAL 复制协议,而是在相同 WAL 流上增加提交确认门槛。分析 RPO 时,关键不是只问“是否同步复制”,而是确认哪些备库参与同步确认,以及成功提交对应的 WAL 至少被保证推进到哪个阶段。

用四个 LSN 判断数据安全边界

理解流复制机制后,可以把故障判断归结为几个边界。sent_lsn 说明 WAL 是否已经离开主库发送端,write_lsn 说明备库是否已经接收并写入,flush_lsn 说明 WAL 是否已经在备库持久化,replay_lsn 则说明变化是否已经完成回放。

例如,主库突然故障时,判断某笔事务能否在候选备库上恢复,真正需要关注的是该事务对应 WAL 是否已经进入候选备库可用的日志历史。对于异步复制,客户端收到提交成功并不能证明备库已经拥有这段 WAL;对于要求备库持久化确认的同步复制,成功提交则提供了更强的数据安全保证。

同样,在正常运行期间看到 replay_lsn 落后,也不能立即判断存在数据丢失风险。只要 flush_lsn 已经推进,相关 WAL 可能已经安全持久化,只是尚未应用到数据页;这与 WAL 尚未到达备库是两种不同状态。

把 PostgreSQL 流复制理解成“WAL 生成 → WAL Sender 发送 → WAL Receiver 接收与写入 → 持久化 → recovery replay”的连续进度链,就能把监控指标、复制延迟和故障切换放进同一个模型。发生异常时先确定 WAL 停在哪个 LSN 边界,再判断性能瓶颈和数据安全风险,比单独观察一个时间延迟值更可靠。

目录与阅读设置

记录一个想法

PostgreSQL 流复制如何传递 WAL

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通