PostgreSQL / 技术文章
PostgreSQL 基数估算为什么会错
当 EXPLAIN (ANALYZE) 里的 rows 与实际行数相差几十倍甚至几百倍时,问题不一定是“统计信息坏了”。这篇文章面向已经会读执行计划的后端工程师与 DBA,目标是建立一套更准确的判断框架:分清采样、统计压缩、模型假设和数据变化造成的误差,并定位误差第一次出现在哪一层。
基数估算本质上是压缩后的推断
PostgreSQL 在真正执行查询之前就要选择扫描、连接、排序和聚合路径,因此规划器无法先把结果跑一遍再获得真实行数。它只能依据表规模与统计信息估算条件选择率,再把选择率转换成节点的 rows。官方文档把行数估算视为代价计算的重要输入,并说明 ANALYZE 收集的统计信息只保留有限摘要,而不是完整数据分布。:contentReference[oaicite:0]{index=0}
所以,estimated rows != actual rows 本身不是故障判据。真正值得关注的是两个问题:误差是否在计划树中持续放大,以及这个误差是否足以让规划器选择另一类路径。一次 20% 的偏差可能毫无影响,而一个发生在小表驱动侧的 50 倍低估,可能直接把合理的 Hash Join 推向代价灾难性的 Nested Loop。
四类误差会让统计与现实分离
| 误差来源 | 发生原因 | 常见表现 |
|---|---|---|
| 统计压缩 | MCV、直方图、NDV 等只能保存有限摘要 | 热点之外的值、桶内分布或长尾被近似 |
| 采样误差 | ANALYZE 基于样本构建统计信息 |
稀有值、极端倾斜或小概率组合在样本中代表性不足 |
| 模型误差 | 缺少联合分布信息时需要采用简化假设 | 单列条件都估得准,组合后却明显偏离 |
| 时效误差 | 数据分布在最近一次 ANALYZE 后发生变化 |
last_analyze 看似不旧,但热点、租户占比或业务周期已经迁移 |
提高统计目标可以保存更细的统计摘要,并通常提高对复杂分布的刻画能力,但它只能缓解“信息不够细”这一类问题,不能自动消除所有模型误差。PostgreSQL 也不会自动为任意列组合创建多变量统计,因为可能的组合数量过大;需要显式创建扩展统计对象。:contentReference[oaicite:1]{index=1}
最危险的情况是边际分布都对,联合分布却错
假设列 a 和 b 各自都有 100 个均匀分布的值。只看单列统计时,a = 7 和 b = 7 的选择率都约为 1%。如果规划器缺少二者的联合分布信息,就可能近似按独立条件计算:
这对真正独立的数据很合理;但如果 b 几乎由 a 决定,真实联合选择率可能接近 1%,于是估算会低两个数量级。PostgreSQL 文档明确指出,普通单列统计无法表达列间相关性,而扩展统计可用 dependencies、ndistinct 和多变量 mcv 描述部分联合分布。:contentReference[oaicite:2]{index=2}
下面的实验故意构造两张“单列分布相同、联合关系不同”的表:
CREATE TEMP TABLE t_independent AS
SELECT
i % 100 AS a,
(i / 100) % 100 AS b
FROM generate_series(0, 99999) AS g(i);
CREATE TEMP TABLE t_correlated AS
SELECT
i % 100 AS a,
i % 100 AS b
FROM generate_series(0, 99999) AS g(i);
ANALYZE t_independent;
ANALYZE t_correlated;
EXPLAIN (ANALYZE, TIMING OFF, SUMMARY OFF)
SELECT * FROM t_independent WHERE a = 7 AND b = 7;
EXPLAIN (ANALYZE, TIMING OFF, SUMMARY OFF)
SELECT * FROM t_correlated WHERE a = 7 AND b = 7;观察重点不是 cost 或时间的精确数值,而是两张表的计划行数与实际行数:
t_independent: planned rows 约 10,actual rows 约 10
t_correlated: planned rows 约 10,actual rows 约 1000两张表中 a、b 的单列频率都近似 1%,所以单列统计本身并没有“错”;错误来自把相关条件当成近似独立。给相关表补充联合统计后再执行 ANALYZE:
CREATE STATISTICS t_correlated_ab (dependencies, mcv)
ON a, b
FROM t_correlated;
ANALYZE t_correlated;
EXPLAIN (ANALYZE, TIMING OFF, SUMMARY OFF)
SELECT * FROM t_correlated WHERE a = 7 AND b = 7;此时计划行数通常会明显靠近真实结果。具体估算值可能随样本和统计目标变化,因此验证重点应是误差倍率是否收敛,而不是要求 rows 与 actual rows 完全相等。扩展统计的数据同样由 ANALYZE 收集。:contentReference[oaicite:3]{index=3}
小误差会沿计划树变成大决策
过滤节点可以粗略理解为:
连接节点则还要把两侧输入规模和连接选择率结合起来:
这意味着误差不是孤立存在的。叶子节点低估 10 倍,进入连接后可能继续影响连接结果规模、后续排序行数、聚合分组数以及路径代价。规划器并不是因为“看错了一个 rows”而选错计划,而是因为一串依赖这个 rows 的成本比较同时被带偏。官方文档也把行数估算描述为规划成本计算的重要原材料。:contentReference[oaicite:4]{index=4}
因此,排查时最有价值的不是找到“偏差最大的节点”,而是找到“第一个无法由子节点误差解释的节点”。后面的巨大偏差往往只是前面误差的传播结果。
有些 rows 偏差并不是统计问题
LIMIT 可能让上游节点提前停止,导致实际读取行数小于完整执行时的估算;Prepared Statement 的 generic plan 可能使用不针对某个具体参数值的估算;而在 loops > 1 的节点上,EXPLAIN ANALYZE 展示的实际 rows 是每次循环的平均值,不能把累计实际行数与单次计划行数直接比较。
另外,如果关键节点的估算行数已经接近实际值,但执行时间仍异常,问题更可能在 I/O、缓存命中、排序或哈希内存、并发竞争、JIT、并行执行或代价参数,而不是基数估算。把“慢”直接等同于“rows 估错”,会让排查从一开始就进入错误方向。
用误差第一次出现的位置决定下一步
- 先看最底层真正执行过滤的扫描节点。单个条件已经明显偏离时,优先检查统计时效、热点值是否进入 MCV、直方图是否足够细,以及表达式是否缺少可用统计。
- 单条件基本准确、多个条件组合后才偏离时,优先怀疑列间相关、联合热点或组合 NDV;这正是扩展统计最擅长补充的信息。
- 基表过滤准确、进入 Join 或
GROUP BY后才出现新偏差时,把注意力转向连接键 NDV、唯一性、数据倾斜和组合去重规模,不要继续反复提高无关列的统计目标。 - 修复后只验证两件事:首个分叉点的误差倍率是否收敛,以及规划器是否因此选择了更合理的路径。PostgreSQL 18 目前的扩展统计仍不用于表连接的选择率估算,因此不能期待
CREATE STATISTICS修复所有 Join 基数问题。:contentReference[oaicite:5]{index=5}
理解基数估算最重要的转变,是把它从“数据库算错了多少行”改成“规划器基于哪些有限证据做了什么近似”。一旦能指出误差第一次出现的层级,就能判断应该更新统计、增加统计表达能力、检查参数化计划,还是彻底离开统计方向去查执行资源问题。