PostgreSQL / 系统课时
交付 MVCC 与 VACUUM 治理方案
交付 MVCC 与 VACUUM 治理方案
治理方案需要证明清理能力追得上更新速度,而不只是给出几项参数。本课为订单状态表设计一份可验收的交付:先记录基线,再计算表级触发条件,约定告警、维护窗口和回退证据,最后用持续负载检查效果。
学习目标
- 用实际变化率和扫描耗时制定表级策略
- 区分清理、统计、冻结与文件缩减的验收目标
- 交付包含告警、责任人与回退步骤的维护方案
记录基线并定义容量问题
假设订单状态表约有 1000 万行,业务峰值每分钟产生 10 万个更新或删除版本。先每分钟采样,覆盖至少一个完整高峰与低峰,保存采样时间、业务请求量及对应发布版本。不要拿单次 n_dead_tup 作为精确积压计数。
-- PostgreSQL 18;在目标数据库执行,动态值用于建立趋势。
SELECT now() AS sampled_at, s.relid::regclass AS relation,
s.n_live_tup, s.n_dead_tup, s.n_tup_upd, s.n_tup_del,
s.last_autovacuum, s.autovacuum_count,
s.last_autoanalyze,
age(c.relfrozenxid) AS xid_age,
mxid_age(c.relminmxid) AS mxid_age,
pg_total_relation_size(s.relid) AS total_bytes
FROM pg_stat_user_tables s
JOIN pg_class c ON c.oid = s.relid
ORDER BY pg_total_relation_size(s.relid) DESC;预期结果:每张用户表一行,包括空表;统计、时间和尺寸随实例变化。累计更新量取相邻采样差值,并记录统计重置,防止把重置后的负差值当作负负载。补充数据库 I/O、复制延迟和应用 p95,才能判断维护是否挤占业务资源。
计算一张热表的触发门槛
用简化的更新删除触发模型估算:基础阈值加上 scale factor 乘以估计行数。采用常见的 50 与 0.2 时,1000 万行约需积累 2000050 个变化版本,相当于上述负载的约 20 分钟。
把候选值改为基础 5000、比例 0.01,则门槛约为 105000,即约 1.05 分钟。触发后还要等待 launcher 和空闲 worker,不能承诺每分钟一定开始。PostgreSQL 18 还可受 autovacuum_vacuum_max_threshold 限制,完整规则以 配置说明 为准。
在专用练习库验证 DDL,表名故意与真实业务隔离:
CREATE TABLE vacuum_policy_lab (
id bigint PRIMARY KEY,
status text NOT NULL
);
-- 候选表级策略,不作为所有表的统一默认值。
ALTER TABLE vacuum_policy_lab SET (
autovacuum_vacuum_threshold = 5000,
autovacuum_vacuum_scale_factor = 0.01,
autovacuum_analyze_threshold = 5000,
autovacuum_analyze_scale_factor = 0.02
);
SELECT reloptions FROM pg_class
WHERE oid = 'vacuum_policy_lab'::regclass;预期结果:CREATE TABLE、ALTER TABLE 成功,reloptions 包含上面四个值。空实验表只能验证配置合法与写入成功;治理效果必须在代表性数据量和持续负载下评估。
让告警对应具体动作
| 信号 | 本案例候选门槛 | 处理动作 |
|---|---|---|
| 死版本估计持续增长 | 连续 15 分钟且两次维护后仍增长 | 查保留边界、worker 排队与扫描速度 |
| XID 或 MXID 年龄 | 当前强制阈值的 70%,并计算增长趋势 | 根据维护耗时提前排窗口 |
| 很老的事务快照 | 超过应用约定的 5 分钟事务预算 | 找到应用责任人,结束或拆分事务 |
| 维护影响业务 | p95 超过约定 200 ms 持续 5 分钟 | 调整维护并发或成本,复核清理余量 |
这些数字属于案例的服务目标,不是 PostgreSQL 保证,也不是每个系统都适用。交付时填写监控查询、通知对象、值班责任人与升级时限;只写“关注膨胀”无法形成执行动作。
在窗口里证明吞吐足够
假设基线显示每次有效维护约需 4 分钟,而一个周期只产生约 1 分钟的容量余量,降低触发阈值仍可能追不上负载。应结合日志测量扫描、可回收量和 I/O,调查长快照,按证据调整 worker 容量、维护成本或业务更新方式。
验收至少覆盖两个高峰周期:估计死版本不持续上升,冻结年龄趋势受控,维护有完成记录,复制延迟和业务 p95 在目标内。另做一次长快照导致清理受限的演练,确认告警能指向具体会话,而不是不断重试 VACUUM。
普通 VACUUM 的目标主要是表内空间复用,不能承诺文件回到最小尺寸。VACUUM FULL 会重写表并需要强锁与额外磁盘,必须作为独立容量变更评估,不能悄悄放进日常自动化;行为见 VACUUM 命令参考。
保存可回退的交付证据
参数变更前保存 reloptions 原值、监控基线和执行人;出现负面影响时恢复原值。若本实验表原来没有这些表级覆盖,可以这样撤销:
ALTER TABLE vacuum_policy_lab RESET (
autovacuum_vacuum_threshold,
autovacuum_vacuum_scale_factor,
autovacuum_analyze_threshold,
autovacuum_analyze_scale_factor
);
SELECT reloptions FROM pg_class
WHERE oid = 'vacuum_policy_lab'::regclass;预期结果:ALTER TABLE 成功;实验表没有其他选项时,reloptions 为 NULL。生产原本已有覆盖值时应逐项恢复,而非 RESET 丢失原策略。最终交付包含变更前后趋势、SQL、影响范围、维护计划与责任人;维护完成不能撤销,参数回退也不能代替业务容量复查。