NoSQL 与搜索 / 系统课时

用扫描比定位低效查询

用扫描比定位低效查询

查询“用了索引”仍可能很慢,因为索引可能先扫描大量键,再读取大量文档,最后只返回少数结果。本课用 nReturned、totalKeysExamined 与 totalDocsExamined 做同查询对照,定位选择性不足、回表过滤和覆盖查询机会。

学习目标

  • 会计算并解释索引键扫描比与文档扫描比。
  • 能根据三项计数判断低选择性索引、回表过滤和覆盖查询。
  • 知道扫描比的适用边界,不把固定阈值当成绝对结论。

先算两个扫描比

最常用的两个观察值是 totalKeysExamined / nReturned 和 totalDocsExamined / nReturned。前者表示为了返回一条结果平均扫描多少索引键,后者表示平均读取多少文档。

比值越接近 1,通常说明扫描越聚焦;totalDocsExamined 为 0 则常见于覆盖查询,因为需要的过滤与返回字段都能从索引得到。不过扫描比只是诊断信号,不是统一的“及格线”:返回 1 条结果扫描 20 个键可能完全可接受,扫描 20 万个键则值得重点检查。

用同一查询做对照

下面构造 1000 条订单:900 条状态为 OPEN,而目标区域 r42 只有 10 条。先只建 status 索引,再加入 { status, region } 复合索引,并保持查询条件与投影完全相同。

js
db.scanRatioLab.drop();

db.scanRatioLab.insertMany(
  Array.from({ length: 1000 }, (_, i) => ({
    _id: i,
    status: i % 10 === 0 ? "CLOSED" : "OPEN",
    region: "r" + (i % 100),
    amount: i
  }))
);

db.scanRatioLab.createIndex(
  { status: 1 },
  { name: "status_1" }
);

const query = { status: "OPEN", region: "r42" };
const projection = { _id: 0, status: 1, region: 1 };

function summarize(exp) {
  const s = exp.executionStats;
  return {
    nReturned: s.nReturned,
    totalKeysExamined: s.totalKeysExamined,
    totalDocsExamined: s.totalDocsExamined,
    keysPerResult: s.nReturned ? s.totalKeysExamined / s.nReturned : null,
    docsPerResult: s.nReturned ? s.totalDocsExamined / s.nReturned : null
  };
}

const before = db.scanRatioLab
  .find(query, projection)
  .hint("status_1")
  .explain("executionStats");

printjson(summarize(before));

db.scanRatioLab.createIndex(
  { status: 1, region: 1 },
  { name: "status_1_region_1" }
);

const after = db.scanRatioLab
  .find(query, projection)
  .hint("status_1_region_1")
  .explain("executionStats");

printjson(summarize(after));

预期输出

text
{
  nReturned: 10,
  totalKeysExamined: 900,
  totalDocsExamined: 900,
  keysPerResult: 90,
  docsPerResult: 90
}
{
  nReturned: 10,
  totalKeysExamined: 10,
  totalDocsExamined: 0,
  keysPerResult: 1,
  docsPerResult: 0
}

第一次查询只能利用 status = OPEN 定位 900 个索引键,还必须回表读取 region 才能筛出 10 条,因此两个扫描比都是 90。第二次查询同时利用 status 与 region,并且投影只包含复合索引中的字段,所以只扫描 10 个键且无需读取集合文档。

从三组数字判断根因

如果 totalKeysExamined 远大于 nReturned,说明索引扫描范围过宽。常见原因包括索引前缀选择性不足、复合索引字段顺序不能有效缩小范围,或查询本身就命中大比例数据。

如果 totalDocsExamined 远大于 nReturned,通常表示大量候选记录在 FETCH 后才被过滤。应检查过滤字段是否未进入索引、是否存在无法有效利用索引的条件,以及返回字段是否导致不必要回表。

如果 totalKeysExamined 接近 nReturned 且 totalDocsExamined 为 0,通常说明过滤和投影都由索引完成,属于覆盖查询的典型表现。它很高效,但也要权衡索引体积、写放大和维护成本,不应为了追求 docsExamined = 0 把所有字段都塞进索引。

扫描比的边界

扫描比回答的是“为了得到这些结果,数据库额外扫描了多少”,并不能单独解释所有延迟。排序、聚合、磁盘读、缓存命中、锁竞争、网络返回量和并发压力仍可能决定最终耗时,因此扫描比应与计划阶段和实际延迟一起看。

真正值得优化的模式通常是:扫描比长期偏高、绝对扫描量也大,并且该查询频繁出现在真实流量中。先用这三个计数定位浪费发生在索引层还是文档层,再决定调整复合索引、字段顺序、查询条件或投影,通常比只盯着 executionTimeMillis 更可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用扫描比定位低效查询

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通