NoSQL 与搜索 / 系统课时
用扫描比定位低效查询
用扫描比定位低效查询
查询“用了索引”仍可能很慢,因为索引可能先扫描大量键,再读取大量文档,最后只返回少数结果。本课用 nReturned、totalKeysExamined 与 totalDocsExamined 做同查询对照,定位选择性不足、回表过滤和覆盖查询机会。
学习目标
- 会计算并解释索引键扫描比与文档扫描比。
- 能根据三项计数判断低选择性索引、回表过滤和覆盖查询。
- 知道扫描比的适用边界,不把固定阈值当成绝对结论。
先算两个扫描比
最常用的两个观察值是 totalKeysExamined / nReturned 和 totalDocsExamined / nReturned。前者表示为了返回一条结果平均扫描多少索引键,后者表示平均读取多少文档。
比值越接近 1,通常说明扫描越聚焦;totalDocsExamined 为 0 则常见于覆盖查询,因为需要的过滤与返回字段都能从索引得到。不过扫描比只是诊断信号,不是统一的“及格线”:返回 1 条结果扫描 20 个键可能完全可接受,扫描 20 万个键则值得重点检查。
用同一查询做对照
下面构造 1000 条订单:900 条状态为 OPEN,而目标区域 r42 只有 10 条。先只建 status 索引,再加入 { status, region } 复合索引,并保持查询条件与投影完全相同。
db.scanRatioLab.drop();
db.scanRatioLab.insertMany(
Array.from({ length: 1000 }, (_, i) => ({
_id: i,
status: i % 10 === 0 ? "CLOSED" : "OPEN",
region: "r" + (i % 100),
amount: i
}))
);
db.scanRatioLab.createIndex(
{ status: 1 },
{ name: "status_1" }
);
const query = { status: "OPEN", region: "r42" };
const projection = { _id: 0, status: 1, region: 1 };
function summarize(exp) {
const s = exp.executionStats;
return {
nReturned: s.nReturned,
totalKeysExamined: s.totalKeysExamined,
totalDocsExamined: s.totalDocsExamined,
keysPerResult: s.nReturned ? s.totalKeysExamined / s.nReturned : null,
docsPerResult: s.nReturned ? s.totalDocsExamined / s.nReturned : null
};
}
const before = db.scanRatioLab
.find(query, projection)
.hint("status_1")
.explain("executionStats");
printjson(summarize(before));
db.scanRatioLab.createIndex(
{ status: 1, region: 1 },
{ name: "status_1_region_1" }
);
const after = db.scanRatioLab
.find(query, projection)
.hint("status_1_region_1")
.explain("executionStats");
printjson(summarize(after));预期输出
{
nReturned: 10,
totalKeysExamined: 900,
totalDocsExamined: 900,
keysPerResult: 90,
docsPerResult: 90
}
{
nReturned: 10,
totalKeysExamined: 10,
totalDocsExamined: 0,
keysPerResult: 1,
docsPerResult: 0
}第一次查询只能利用 status = OPEN 定位 900 个索引键,还必须回表读取 region 才能筛出 10 条,因此两个扫描比都是 90。第二次查询同时利用 status 与 region,并且投影只包含复合索引中的字段,所以只扫描 10 个键且无需读取集合文档。
从三组数字判断根因
如果 totalKeysExamined 远大于 nReturned,说明索引扫描范围过宽。常见原因包括索引前缀选择性不足、复合索引字段顺序不能有效缩小范围,或查询本身就命中大比例数据。
如果 totalDocsExamined 远大于 nReturned,通常表示大量候选记录在 FETCH 后才被过滤。应检查过滤字段是否未进入索引、是否存在无法有效利用索引的条件,以及返回字段是否导致不必要回表。
如果 totalKeysExamined 接近 nReturned 且 totalDocsExamined 为 0,通常说明过滤和投影都由索引完成,属于覆盖查询的典型表现。它很高效,但也要权衡索引体积、写放大和维护成本,不应为了追求 docsExamined = 0 把所有字段都塞进索引。
扫描比的边界
扫描比回答的是“为了得到这些结果,数据库额外扫描了多少”,并不能单独解释所有延迟。排序、聚合、磁盘读、缓存命中、锁竞争、网络返回量和并发压力仍可能决定最终耗时,因此扫描比应与计划阶段和实际延迟一起看。
真正值得优化的模式通常是:扫描比长期偏高、绝对扫描量也大,并且该查询频繁出现在真实流量中。先用这三个计数定位浪费发生在索引层还是文档层,再决定调整复合索引、字段顺序、查询条件或投影,通常比只盯着 executionTimeMillis 更可靠。