NoSQL 与搜索 / 系统课时

配置慢查询与 Database Profiler

配置慢查询与 Database Profiler

慢查询治理的第一步不是立刻加索引,而是先稳定地收集证据。本课会配置慢操作阈值与采样率,验证 Database Profiler 是否生效,并从 system.profile 中读取耗时、执行计划摘要和扫描量,形成可继续用 explain() 验证的候选查询。

学习目标

  • 理解 profiler level、slowms 与 sampleRate 分别控制什么
  • 在 mongod 上启用慢操作采样,并验证当前配置
  • 从 system.profile 提取可用于定位索引与资源瓶颈的关键字段

先决定采集策略

Database Profiler 是按数据库工作的诊断工具:level 0 不写 system.profile,level 1 记录满足慢操作条件的样本,level 2 记录全部操作。生产环境通常从 level 1 开始,再用 slowms 控制“多慢才值得记录”,用 sampleRate 控制慢操作中实际采集的比例。mongos 不能启用 profiler,只能用这些阈值影响诊断日志。:contentReference[oaicite:0]{index=0}

慢操作从阈值判断到采样与 profiler 落盘的流程

阈值不要机械设得越低越好。过低会提高写入和分析成本,过高则容易漏掉“单次不算很慢、但调用极频繁”的查询;采样率也应结合流量调整。若使用 filter 精确筛选 profiler 记录,MongoDB 会以 filter 为准,此时 slowms 与 sampleRate 不再决定哪些操作被记录。:contentReference[oaicite:1]{index=1}

配置并验证 Profiler

下面在 perf_lab 数据库启用 level 1,把慢操作阈值设为 100 ms,并随机采样其中 25%。示例适用于可直接连接 mongod 且具备相应权限的 mongosh 会话。

javascript
const perf = db.getSiblingDB("perf_lab");

perf.setProfilingLevel(1, {
  slowms: 100,
  sampleRate: 0.25
});

const status = perf.getProfilingStatus();

printjson({
  level: status.was,
  slowms: status.slowOpThresholdMs,
  sampleRate: status.slowOpSampleRate
});

预期输出

text
{
  level: 1,
  slowms: 100,
  sampleRate: 0.25
}

db.setProfilingLevel() 的运行时修改不会跨服务重启自动保留;需要长期固定策略时,应把对应配置写入 mongod 配置文件,例如 operationProfiling.mode: slowOp、slowOpThresholdMs 与 slowOpSampleRate。:contentReference[oaicite:2]{index=2}

从 system.profile 读有效证据

Profiler 把记录写入当前数据库的 capped collection system.profile。诊断时不要只按 millis 排序,还应同时看 planSummary、keysExamined、docsExamined 与 nreturned:扫描量远大于返回量通常意味着过滤选择性、索引顺序或访问路径值得继续检查。:contentReference[oaicite:3]{index=3}

javascript
const perf = db.getSiblingDB("perf_lab");

perf.system.profile
  .find(
    { op: { $in: ["query", "command", "getmore"] } },
    {
      ts: 1,
      ns: 1,
      millis: 1,
      planSummary: 1,
      planCacheShapeHash: 1,
      keysExamined: 1,
      docsExamined: 1,
      nreturned: 1,
      "storage.data.bytesRead": 1
    }
  )
  .sort({ ts: -1 })
  .limit(5)
  .toArray();

预期输出

text
[
  {
    ts: ISODate("<TIME>"),
    ns: "perf_lab.<COLLECTION>",
    millis: <VALUE>,
    planSummary: "<PLAN_SUMMARY>",
    planCacheShapeHash: "<PLAN_CACHE_SHAPE_HASH>",
    keysExamined: <VALUE>,
    docsExamined: <VALUE>,
    nreturned: <VALUE>,
    storage: { data: { bytesRead: <VALUE> } }
  }
]

实际值取决于工作负载;如果暂时返回空数组,先确认当前数据库确实启用了 level 1 或 2,再检查是否有操作超过阈值且被采样命中。planCacheShapeHash 可帮助归并相同查询形状;若条目包含 storage.data.bytesRead、锁等待或响应大小等字段,还能进一步判断瓶颈更偏向扫描、I/O 还是资源争用。COLLSCAN 是明显信号,但 IXSCAN 也不能自动等同于高效。:contentReference[oaicite:4]{index=4}

控制生产环境的采集风险

Profiler 会产生额外开销,而且记录内容可能包含未加密的查询数据,因此不适合把 level 2 长期开在高流量生产库。更稳妥的做法是短时间提高采集强度、保留足够样本后恢复较低级别,并限制谁能读取 system.profile。:contentReference[oaicite:5]{index=5}

最终要得到的不是“有一条慢查询”,而是一组可复现的证据:什么操作被记录、耗时多大、采用了什么计划、扫描了多少索引键和文档。只有这些信息同时成立,后续索引调整和查询改写才有可靠起点。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置慢查询与 Database Profiler

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通