MySQL / 系统课时

从慢日志筛选高价值 SQL

从慢日志筛选高价值 SQL

慢查询优化的第一步不是“挑最慢的一条”,而是把慢日志与 digest 聚合数据合并来看,筛出同时具备高耗时、高频率、高扫描量或高业务影响的 SQL,再保留代表性样本进入执行计划分析。

学习目标

  • 用耗时、频率、扫描量和业务影响判断优化优先级
  • 用 Performance Schema 的 digest 聚合同类 SQL,避免被单次偶发慢请求误导
  • 为候选 SQL 保留可复现样本,并进入 EXPLAIN 分析

先把慢日志变成候选池

慢日志提供的是一次次具体执行记录,适合回答“哪次请求慢”;优化优先级还需要回答“这类 SQL 一共消耗了多少资源”。因此先按四个维度筛选,而不是只按单次 query_time 排序。

维度 重点指标 判断方式
单次耗时 平均、P95 或代表性耗时 单次很慢会直接拖长接口响应
执行频率 单位时间调用次数 中等慢但高频,累计成本可能更高
扫描量 rows_examined、扫描/返回比 扫描放大通常意味着访问路径低效
业务影响 核心接口、批处理、后台任务 同样成本下,优先处理影响更大的链路

慢日志到优化对象的筛选闭环

用 digest 聚合同类 SQL

先用慢日志得到一批具体样本。下面的命令按平均查询耗时列出前 20 组语句,<PATH> 替换为慢日志实际路径:

bash
mysqldumpslow -s at -t 20 <PATH>/mysql-slow.log

预期输出

text
Count: <VALUE>  Time=<VALUE>s (<VALUE>s)  Lock=<VALUE>s (<VALUE>s)  Rows=<VALUE> (<VALUE>), <USER>@<HOST>
  SELECT ... WHERE ...

这一步适合快速缩小范围,但参数不同的同一模板 SQL 仍需要稳定聚合。performance_schema.events_statements_summary_by_digest 会按标准化后的语句摘要统计执行次数、总耗时、平均耗时和扫描量,可以继续找出“长期占资源”的语句族。

下面的查询直接从累计 digest 统计中筛选前 20 个候选:

sql
SELECT
    SCHEMA_NAME AS db,
    DIGEST,
    LEFT(DIGEST_TEXT, 120) AS normalized_sql,
    COUNT_STAR AS exec_count,
    ROUND(SUM_TIMER_WAIT / 1000000000000, 2) AS total_s,
    ROUND(AVG_TIMER_WAIT / 1000000000, 2) AS avg_ms,
    SUM_ROWS_EXAMINED,
    ROUND(SUM_ROWS_EXAMINED / NULLIF(COUNT_STAR, 0), 0) AS rows_examined_per_exec,
    LEFT(QUERY_SAMPLE_TEXT, 200) AS sample_sql
FROM performance_schema.events_statements_summary_by_digest
WHERE DIGEST IS NOT NULL
ORDER BY SUM_TIMER_WAIT DESC
LIMIT 20;

预期输出

text
db   digest     normalized_sql        exec_count  total_s  avg_ms  rows_examined_per_exec  sample_sql
<DB> <DIGEST>   SELECT ... WHERE ...  <VALUE>     <VALUE>  <VALUE> <VALUE>                  SELECT ...

实际数值会随统计窗口变化。total_s 高说明累计资源占用大,avg_ms 高说明单次体验差,rows_examined_per_exec 高则提示扫描放大;三者要结合业务重要度一起排序。

选择代表性样本而不是最极端样本

进入计划分析前,样本要能代表常见参数分布。优先选择与目标 digest 一致、最近发生、业务参数典型的 SQL;如果同一 digest 在不同参数下快慢差异很大,应分别保留“常见参数”和“慢参数”,避免只分析一次异常值。

QUERY_SAMPLE_TEXT 可以直接给出 Performance Schema 保存的代表性样本;原始慢日志还能补充执行时间、锁等待和当时的数据库上下文。两者结合后,候选 SQL 才同时具备“聚合证据”和“可复现样本”。

进入执行计划前做最后确认

对确定的只读查询,先使用不会真正执行语句的 EXPLAIN FORMAT=TREE 查看访问路径;确认环境允许后,再考虑 EXPLAIN ANALYZE 获取实际行数与耗时。下面是片段示例,依赖你的真实表结构与参数:

sql
EXPLAIN FORMAT=TREE
SELECT id, customer_id, created_at
FROM orders
WHERE tenant_id = 42
  AND status = 'PAID'
ORDER BY created_at DESC
LIMIT 50;

预期输出

text
-> Limit: 50 row(s)
    -> <Index lookup / Index range scan / Table scan>
        -> <estimated rows and cost>

实际计划会因数据分布、索引和统计信息不同而变化。筛选阶段的完成标准不是“已经找到最慢 SQL”,而是已经得到一组按价值排序的 digest,并为每个 digest 留下足以复现和验证的代表性样本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从慢日志筛选高价值 SQL

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通