大数据与流处理 / 系统课时

从查询日志定位慢查询

从查询日志定位慢查询

性能诊断应先找到“哪类查询真的消耗最多”,而不是凭印象挑一条 SQL 优化。system.query_log 可以把耗时、扫描量、内存、异常和 ProfileEvents 放到同一记录中,适合从真实工作负载里筛选高成本查询。

学习目标

  • 从 system.query_log 筛选最近完成的慢查询
  • 用扫描量与峰值内存区分不同成本类型
  • 从 ProfileEvents 提取进一步诊断线索

先筛出真实高成本查询

查询日志通常是异步写入,分析前可以先刷新系统日志。下面按最近一小时的完成查询排序,并排除当前这条读取日志的查询。

sql
-- 刷新查询日志后,只看最近一小时的初始完成查询。
-- 排除读取 system.query_log 自身的诊断 SQL,避免样本污染。
SYSTEM FLUSH LOGS;

SELECT
    event_time,
    query_id,
    query_duration_ms,
    read_rows,
    formatReadableSize(read_bytes) AS read_size,
    formatReadableSize(memory_usage) AS memory,
    query
FROM system.query_log
WHERE type = 'QueryFinish'
  AND is_initial_query = 1
  AND event_time >= now() - INTERVAL 1 HOUR
  AND query NOT ILIKE '%system.query_log%'
ORDER BY query_duration_ms DESC
LIMIT 10;

预期结果:

text
<TIME>    <ID>    <VALUE>    <VALUE>    <VALUE>    <VALUE>    SELECT ...

实际字段值与工作负载有关。第一轮只需要找到“耗时高且出现频繁”或“扫描量/内存异常突出”的查询族。

用扫描量区分根因方向

query_duration_ms 高且 read_rows、read_bytes 同时很高,通常优先检查分区、排序键、主键裁剪与查询过滤。扫描量不高但 memory_usage 很高,更可能与大聚合、JOIN、排序或高基数状态有关。耗时高但扫描量和内存都不突出时,再看等待、远程读取、并发争用或后台负载。

不要把这些现象当成绝对结论,它们只是缩小排查范围的第一层证据。

从 ProfileEvents 读取执行细节

ProfileEvents 是每条查询记录里的 Map,可以按键读取计数器。具体可用键会随版本和执行路径变化,因此先从记录中查看实际存在的键,再针对性取值。

sql
-- 先查看实际存在的 ProfileEvents 键,再决定后续提取哪些计数器。
SELECT
    query_id,
    mapKeys(ProfileEvents) AS profile_event_keys
FROM system.query_log
WHERE type = 'QueryFinish'
  AND ProfileEvents != map()
ORDER BY event_time DESC
LIMIT 3;

预期结果:

text
<ID>    ['<VALUE>', '<VALUE>', ...]

看到实际键名后,再围绕读取、IO、缓存、网络或 CPU 相关事件做同类查询对比,比死记某一个计数器更稳妥。

把慢查询变成可复验样本

选中高成本 SQL 后,保存查询文本、关键参数、数据时间范围、并发条件和查询 ID,再进入 EXPLAIN 与基准测试。只有把“日志里的偶发慢”转成可重复执行的样本,后续模型、SQL 或配置改动才有可靠的前后对照。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从查询日志定位慢查询

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通