PostgreSQL / 系统课时

垃圾元组与可见性映射

垃圾元组与可见性映射

PostgreSQL 的 UPDATE 和 DELETE 不会立刻把旧行从数据页抹掉。理解这些旧版本如何变成垃圾元组,以及可见性映射如何帮助 VACUUM 和 Index Only Scan,才能正确判断表膨胀与扫描成本。

学习目标

  • 解释更新、删除后为什么会保留旧行版本,以及何时才能回收
  • 区分可见性映射中的 all-visible 与 all-frozen 信息
  • 用统计视图、pg_visibility 和执行计划验证垃圾元组与堆访问变化

更新为什么会留下旧版本

MVCC 让不同事务可以看到不同时间点的数据。UPDATE 本质上会写入一个新行版本,并让旧版本对未来快照失效;DELETE 也只是把当前版本标记为已删除。只要仍可能存在需要旧版本的快照,PostgreSQL 就不能立即回收它。

当旧版本已经不再对任何事务可见时,它才成为 VACUUM 可以处理的垃圾元组。HOT 更新可以减少索引维护,但旧的 heap tuple 版本仍然存在,因此 HOT 并不等于“没有垃圾元组”。

垃圾元组、VACUUM 与可见性映射关系

用 SQL 制造并观察垃圾元组

下面在实验表中关闭 autovacuum,避免演示过程中后台清理干扰观察。生产表不要为了“看得清楚”而长期关闭 autovacuum。

sql
DROP TABLE IF EXISTS vm_demo;

CREATE TABLE vm_demo (
    id bigint PRIMARY KEY,
    status text NOT NULL,
    payload text NOT NULL
) WITH (autovacuum_enabled = false);

INSERT INTO vm_demo
SELECT g, 'new', repeat('x', 100)
FROM generate_series(1, 10000) AS g;

UPDATE vm_demo
SET status = 'done'
WHERE id <= 3000;

DELETE FROM vm_demo
WHERE id > 9000;

ANALYZE vm_demo;

SELECT n_live_tup, n_dead_tup
FROM pg_stat_user_tables
WHERE relname = 'vm_demo';

预期结果

text
DROP TABLE
CREATE TABLE
INSERT 0 10000
UPDATE 3000
DELETE 1000
ANALYZE
 n_live_tup | n_dead_tup
<VALUE>     | <VALUE>
(1 row)

n_live_tup 和 n_dead_tup 都是估算值,实际值可能不同。这个数据集最终保留约 9000 个逻辑行,同时 3000 次更新和 1000 次删除会制造可回收的旧版本,因此 n_dead_tup 应明显大于 0。

可见性映射记录的是页状态

Visibility Map 不是逐行记录可见性的表,而是按 heap page 维护两个关键信号。all-visible 表示该页中的元组对所有当前事务都可见,因此 Index Only Scan 可以跳过 heap 可见性检查;all-frozen 表示页中的元组已经冻结,不再需要为事务 ID 回绕处理它们。

对页执行插入、更新或删除时,相关 all-visible 位会被清除,因为页内可见性重新变得不确定。VACUUM 检查页面后,只有在条件满足时才重新设置这些位。它和 Free Space Map 作用不同:前者描述可见性状态,后者主要帮助寻找可写入的空闲空间。

安装 pg_visibility 扩展后,可以直接查看可见性映射摘要。创建扩展通常需要较高权限;没有权限时可让 DBA 预先安装。

sql
CREATE EXTENSION IF NOT EXISTS pg_visibility;

SELECT *
FROM pg_visibility_map_summary('vm_demo');

VACUUM (ANALYZE) vm_demo;

SELECT *
FROM pg_visibility_map_summary('vm_demo');

预期输出

text
CREATE EXTENSION
 all_visible | all_frozen
<VALUE>      | <VALUE>
(1 row)

VACUUM
 all_visible | all_frozen
<VALUE>      | <VALUE>
(1 row)

精确页数取决于页面布局和并发事务。演示表没有并发写入时,VACUUM 之后通常会看到 all_visible 页数增加;all_frozen 是否增加则取决于元组是否达到冻结条件。

为什么它会影响 Index Only Scan

B-tree 索引本身不保存 MVCC 可见性结论,所以普通索引扫描命中条目后仍需访问 heap 判断该版本是否对当前快照可见。Index Only Scan 只有在 Visibility Map 告诉执行器“这个 heap page 已 all-visible”时,才能真正省掉这次 heap 访问。

sql
VACUUM (ANALYZE) vm_demo;

EXPLAIN (ANALYZE, BUFFERS)
SELECT id
FROM vm_demo
WHERE id BETWEEN 100 AND 120;

预期输出

text
VACUUM
Index Only Scan using vm_demo_pkey on vm_demo  (cost=<VALUE> rows=<VALUE> width=<VALUE>)
  Index Cond: ((id >= 100) AND (id <= 120))
  Heap Fetches: 0
Planning Time: <TIME>
Execution Time: <TIME>

在没有并发写入且相关页已标记 all-visible 的情况下,Heap Fetches: 0 是最直观的验证信号;如果该值大于 0,说明至少部分命中页仍需要回到 heap 做可见性检查。

垃圾元组不等于文件立刻变小

普通 VACUUM 的主要任务是让死元组占用的空间重新可用,并维护可见性信息,它通常不会把表文件立即缩回操作系统。真正判断问题时,应同时观察死元组比例、长生命周期快照、表与索引大小、autovacuum 是否跟得上,而不是只盯着 n_dead_tup 一个数字。

实验结束后可直接删除 vm_demo。在真实系统中,持续减少垃圾元组的核心是避免无意义更新、治理长事务,并让 autovacuum 的触发阈值和处理能力与写入速率匹配。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

垃圾元组与可见性映射

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通