大数据与流处理 / 系统课时

诊断 Part 与 Merge 问题

诊断 Part 与 Merge 问题

当 INSERT 延迟升高、出现 Too many parts,或同一分区的 active Part 数持续上涨时,问题通常落在“小批写入过多、后台 Merge 积压、分区过细或资源不足”之一。本节用 system.parts 与 system.merges 建立定位顺序。

学习目标

  • 用 system.parts 找出 Part 异常集中的表和分区
  • 用 system.merges 判断后台是否正在合并或出现积压
  • 根据证据区分写入碎片、分区设计与资源瓶颈

先确认 Part 是否真的异常增长

sql
-- 按表和分区统计 active Part,优先暴露碎片最严重的位置。
-- 同时保留行数与磁盘大小,区分“小数据多 Part”和“大数据多 Part”。
SELECT
    database,
    table,
    partition,
    count() AS active_parts,
    sum(rows) AS rows,
    formatReadableSize(sum(bytes_on_disk)) AS disk_size
FROM system.parts
WHERE active
GROUP BY database, table, partition
ORDER BY active_parts DESC
LIMIT 20;

预期结果:

text
<DB>    <TABLE>    <VALUE>    <VALUE>    <VALUE>    <VALUE>

优先关注“数据量不大但 active Part 很多”的分区,因为这往往说明单次写入太小或分区键产生了过多碎片。

再看后台 Merge 是否正在消化

sql
-- 当前正在执行的 Merge 能说明后台是否在持续消化 Part。
SELECT
    database,
    table,
    elapsed,
    progress,
    num_parts,
    formatReadableSize(total_size_bytes_compressed) AS merge_size
FROM system.merges
ORDER BY elapsed DESC;

预期结果:

text
<DB>    <TABLE>    <VALUE>    <VALUE>    <VALUE>    <VALUE>

如果 Part 很多且 system.merges 持续有大量长时间任务,说明后台正在努力追赶;如果 Part 很多但几乎没有 Merge,则要继续检查分区边界、Merge 选择条件、后台线程池和磁盘空间等限制。

Part 与 Merge 问题定位流程

把现象对应到根因

如果新 Part 产生速度长期高于 Merge 消化速度,最常见的修复是增大批量、使用异步写入或在上游聚合小请求。如果 Part 被分散到大量高基数分区,即使单次批量不小,Merge 也只能在同一分区内进行,此时需要重新审视分区键。

如果 Merge 已经持续运行但进度很慢,则应检查磁盘吞吐、后台线程资源和同时发生的 mutation、TTL、复制等后台任务是否竞争资源。

修复后用趋势而不是瞬时值验收

一次 OPTIMIZE 把 Part 数降下来不代表问题解决。真正的验收标准是恢复正常写入后,active Part 的产生与合并达到稳定平衡,system.merges 不再长期积压,INSERT 延迟和查询读取 Part 数也回到可接受范围。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

诊断 Part 与 Merge 问题

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通