PostgreSQL / 系统课时
上线检查与运维清单
上线检查与运维清单
这一节把 PostgreSQL 上线与日常运维收敛成一套可执行清单:发布前确认可恢复性与变更风险,发布后验证关键指标,日常巡检关注容量、连接、锁与复制,并用统一阈值和复盘模板把故障处理沉淀为制度。
学习目标
- 建立发布前、发布中和发布后的 PostgreSQL 检查项
- 用最小 SQL 集合完成日常健康巡检与结果判读
- 为告警阈值和故障复盘建立可复用的基线模板
上线前先确认可恢复和可回退
上线检查的第一原则不是“变更能执行”,而是“失败后能恢复”。数据库发布至少要明确备份是否可用、恢复流程是否演练过、DDL 是否会长时间锁表、数据迁移是否可分批,以及应用版本能否与新旧结构同时工作。
发布前建议逐项确认:
- 最近一次备份成功,并已验证恢复链路,而不是只看到“备份任务成功”。
- 迁移脚本在接近生产规模的数据上演练过,记录预计耗时、锁级别和磁盘增量。
- 大表新增索引优先考虑
CREATE INDEX CONCURRENTLY,避免普通建索引长时间阻塞写入。 - 破坏性 DDL 与应用发布拆分,先做兼容性结构变更,再切换代码,最后清理旧字段或旧索引。
- 参数变更已确认属于在线生效、重载生效还是必须重启,避免把
reload当成restart。 - 回滚条件写成可判断的指标,例如错误率、复制延迟、锁等待或关键 SQL 延迟,而不是“感觉不对就回滚”。
用一组 SQL 完成发布后健康检查
发布完成后,不要只验证应用页面是否可用。至少检查实例状态、当前数据库连接与事务、死锁、长事务和等待事件。下面的 SQL 可以作为最小巡检集合直接在目标数据库执行。
SELECT
now() AS checked_at,
pg_postmaster_start_time() AS started_at,
pg_is_in_recovery() AS is_replica;
SELECT
datname,
numbackends,
xact_commit,
xact_rollback,
deadlocks
FROM pg_stat_database
WHERE datname = current_database();
SELECT
pid,
usename,
state,
wait_event_type,
wait_event,
now() - xact_start AS xact_age
FROM pg_stat_activity
WHERE xact_start IS NOT NULL
AND now() - xact_start > interval '5 minutes'
ORDER BY xact_age DESC;预期结果
checked_at=<TIME>
started_at=<TIME>
is_replica=false
datname=<VALUE>
numbackends=<VALUE>
xact_commit=<VALUE>
xact_rollback=<VALUE>
deadlocks=<VALUE>
若没有超过 5 分钟的事务,第三条查询返回 0 行;若存在长事务,会列出对应 pid、用户、等待事件和事务持续时间。实际时间、数据库名和计数会随环境变化。发布后重点观察是否出现异常重启、连接数突增、回滚和死锁快速增长、长事务堆积,或大量会话集中等待同一类锁。
把日常巡检固定成少量关键问题
日常巡检不应追求“看遍所有视图”,而要快速回答几个能触发行动的问题:容量是否逼近上限、连接是否接近池或实例极限、是否有锁等待和长事务、复制是否落后、自动清理是否跟得上、备份是否仍可恢复。
可按以下顺序检查:
- 看磁盘使用率和增长速度,确认 WAL、表空间和备份目录没有异常膨胀。
- 看连接使用率与连接池排队,区分数据库连接不足和应用池配置不当。
- 看长事务、阻塞链和死锁;长事务会延迟 vacuum 清理并放大表膨胀风险。
- 看主从复制状态、延迟与 replication slot 积压,避免 WAL 因失效消费者长期滞留。
- 看 autovacuum 是否持续被取消、冻结年龄是否逼近风险线,以及高更新表的 dead tuple 是否持续增长。
- 看备份任务、恢复演练和监控采集是否成功,确保“监控系统失明”本身也会触发告警。
告警阈值要用基线分级,而不是照抄常数
阈值应先根据业务基线设置,再逐步校准。可以把连接使用率 70% 作为预警、85% 作为高优先级告警;磁盘使用率可从 75% 和 85% 两级起步;长事务可先按 5 分钟预警、15 分钟高优先级处理。复制延迟则应结合业务允许的数据时差定义,而不是统一套用秒数。
死锁通常应在出现时立即记录并告警,因为它意味着至少一个事务已经被数据库主动终止。对增长类指标还要看趋势:例如 replication slot 的 WAL 积压持续上升,比某个瞬时值更能说明消费者已经失速。
故障复盘只保留能推动改进的信息
复盘模板应让下一次故障更快发现、更快止损,而不是写成长篇事故故事。每次数据库故障至少保留影响范围、时间线、直接触发因素、根因、检测缺口、处置动作和后续改进项。
推荐固定记录这些字段:故障开始与恢复时间、受影响服务和数据范围、首个告警、关键证据、临时止损动作、根因、为什么现有保护没有挡住、需要新增或调整的监控,以及每个改进项的负责人和完成日期。
一套可执行的运维清单最终应形成闭环:上线前验证恢复与回退,上线后检查数据库真实状态,日常按固定顺序巡检,告警以业务基线分级,故障后把遗漏的检测和保护措施补回清单。