PostgreSQL / 系统课时

复制槽与 WAL 堆积

复制槽与 WAL 堆积

复制槽能保证消费者暂时掉线时,主库不会过早删除它仍需要的 WAL;代价是消费者长期不前进时,pg_wal 可能持续增长。本课从槽的消费位置出发计算保留量,识别失联或停滞的槽,并给出避免磁盘被 WAL 占满的控制方法。

学习目标

  • 能区分 restart_lsn、confirmed_flush_lsn 与当前 WAL 位置的含义
  • 能计算每个复制槽大致保留了多少 WAL,并识别停滞槽
  • 能使用 max_slot_wal_keep_size、监控阈值和规范删除流程降低磁盘耗尽风险

复制槽为什么会让 WAL 留下来

复制槽本质上是在主库上记录“这个消费者最早还可能需要哪段 WAL”。只要槽仍要求某个旧位置,检查点和 WAL 回收机制就不能按普通节奏删除那之后仍被依赖的 WAL 文件。消费者越久不推进,restart_lsn 与当前 WAL 位置之间的距离就越大。

复制槽保留 WAL 的位置关系

物理复制槽主要关注 restart_lsn;逻辑复制槽除了 restart_lsn,还会有 confirmed_flush_lsn,表示逻辑消费者已经确认接收到的位置。真正决定 WAL 最早可回收边界的仍是槽需要保留的起点,因此监控磁盘风险时应优先计算当前 WAL 与 restart_lsn 的距离。

计算每个槽保留了多少 WAL

在主库执行下面的查询,可以同时查看槽类型、是否活跃、关联进程以及保留量。restart_lsn 尚未建立时结果可能为 NULL,这通常出现在新建但还未真正开始消费的槽。

sql
SELECT
    slot_name,
    slot_type,
    active,
    active_pid,
    restart_lsn,
    confirmed_flush_lsn,
    CASE
        WHEN restart_lsn IS NULL THEN NULL
        ELSE pg_size_pretty(
            GREATEST(
                pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn),
                0
            )::bigint
        )
    END AS retained_wal
FROM pg_replication_slots
ORDER BY slot_name;

预期结果

text
 slot_name  | slot_type | active | active_pid | restart_lsn | confirmed_flush_lsn | retained_wal
------------+-----------+--------+------------+-------------+---------------------+-------------
 standby_a  | physical  | t      | <PID>      | <VALUE>     |                     | <VALUE>
 debezium_a | logical   | f      |            | <VALUE>     | <VALUE>             | <VALUE>

实际 PID、LSN 和容量会变化。需要重点关注的是 active = f 且 retained_wal 持续增长的槽,以及虽然 active = t 但 restart_lsn 长时间不推进的槽。

判断是正常积压还是危险停滞

短时间积压并不一定异常。例如备库重启、逻辑消费者短暂停机或下游批处理暂停,都可能让槽暂时保留更多 WAL。危险信号是持续增长且消费位置不前进,尤其当增长速度接近业务 WAL 生成速度时,剩余磁盘空间会被线性消耗。

可以把“槽是否活跃”“保留量是否持续增加”“消费者是否应当在线”组合判断。不要只因为 active = false 就删除槽:逻辑订阅、备库维护或灾备切换期间,槽可能按设计暂时离线。

还要同时观察 pg_wal 所在文件系统的剩余空间。如果槽保留量已经接近磁盘可用空间,数据库可能因为无法继续写 WAL 而停摆,这比复制中断本身更严重。

给复制槽设置上限

PostgreSQL 可以通过 max_slot_wal_keep_size 限制检查点时复制槽最多保留的 WAL 规模。它不是“安全地自动清理旧槽”,而是允许系统在超过上限后回收过旧 WAL;这样做能保护主库磁盘,但对应槽可能因此失效并需要重新同步。

查看当前设置:

sql
SHOW max_slot_wal_keep_size;

预期输出

text
 max_slot_wal_keep_size
------------------------
 <VALUE>

实际值可能是容量单位,也可能是表示不限制的配置值。设置上限时,应让它覆盖可接受的最长消费者中断窗口,而不是随意给一个很小的数字。估算思路是“峰值 WAL 生成速率 × 允许离线时长”,再预留恢复抖动和业务突增余量。

如果需要修改,可在配置管理流程中设置参数并按当前 PostgreSQL 版本要求重新加载或重启;修改前先确认该参数在目标版本中的生效方式。无论是否设置上限,磁盘剩余空间告警都不能省略,因为 WAL 还可能因归档故障、长事务等其他原因增长。

安全处理废弃槽

先确认槽对应的备库、订阅或 CDC 任务已经永久下线,再检查槽是否仍活跃。只有明确不再需要时,才删除槽。

sql
SELECT pg_drop_replication_slot('old_consumer_slot');

预期结果

text
 pg_drop_replication_slot
--------------------------

成功后函数返回 void,客户端通常显示一行空值。随后再次查询 pg_replication_slots,应找不到该槽;磁盘上的旧 WAL 是否立即释放还取决于检查点和 WAL 回收时机,因此不要把“删除槽成功”等同于“磁盘空间瞬间恢复”。

复制槽监控的核心是把槽状态、restart_lsn 推进速度、WAL 保留量和文件系统剩余空间放在一起看。槽本身不是问题,无人消费却无限保留 WAL 才是风险;通过容量阈值、消费者存活监控和明确的槽生命周期管理,可以在保留可恢复性的同时避免主库磁盘被拖满。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

复制槽与 WAL 堆积

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通