大数据与流处理 / 技术文章

ClickHouse Parts 过多怎么排查

当线上 INSERT 开始变慢、出现 Too many parts,或者你发现某张 MergeTree 表的 Part 数持续上涨时,真正要解决的不是“把阈值调大”,而是判断 Part 到底在哪里堆积、是写入制造得太快还是后台 Merge 处理得太慢。下面这套排查路径面向负责 ClickHouse 写入链路、集群稳定性和故障处置的数据工程师、平台工程师与 DBA,目标是用系统表把根因收敛到写入粒度、分区设计、Merge 资源或后台任务竞争,并给出可验证的修复动作。

先确认触发的是哪一种 Parts 压力

Too many parts 不是一个单一阈值。对 MergeTree 表,parts_to_delay_insert 会在单个分区的活动 Part 数过高时给 INSERT 加延迟,parts_to_throw_insert 会进一步拒绝 INSERT;max_parts_in_total 则保护整张表跨所有分区的活动 Part 总数。较新版本还会通过 max_avg_part_size_for_too_many_parts 影响分区级 delay/throw 检查是否执行,因此不要背默认值,先读取当前版本和当前环境真正生效的 MergeTree 设置,并结合报错文本判断。

下文 SQL 中的 <DB> 和 <TABLE> 分别替换为实际数据库名与表名。

sql
SELECT
    name,
    value,
    changed,
    description
FROM system.merge_tree_settings
WHERE name IN
(
    'parts_to_delay_insert',
    'parts_to_throw_insert',
    'max_parts_in_total',
    'max_avg_part_size_for_too_many_parts',
    'inactive_parts_to_delay_insert',
    'inactive_parts_to_throw_insert'
)
ORDER BY name;

随后检查目标表是否覆盖了这些默认值:

sql
SHOW CREATE TABLE <DB>.<TABLE>;

如果报错文本是 Too many parts (N). Merges are processing significantly slower than inserts,优先看单分区活动 Part;如果文本包含 in all partitions in total,优先看整表活动 Part 总量;如果是 Too many inactive parts,问题已经偏向旧 Part 清理跟不上,而不只是常规 Merge 速度。

同时记录节点级累计事件,便于确认是否已经从“有风险”进入“写入被限流或拒绝”:

sql
SELECT
    event,
    value,
    description
FROM system.events
WHERE event IN
(
    'DelayedInserts',
    'DelayedInsertsMilliseconds',
    'RejectedInserts'
)
ORDER BY event;

这些值从节点启动后累计,单次快照不能代表当前速率;故障期间应间隔采样,比较增量。

找到 Part 真正堆积的分区

先看 system.parts,而不是直接看磁盘目录。active = 1 的 Part 才是当前表可见的数据 Part;不同 partition 的 Part 不会互相 Merge,因此“整表很多 Part”和“某个热点 partition 内很多 Part”是两类完全不同的问题。

sql
SELECT
    partition_id,
    partition,
    countIf(active) AS active_parts,
    countIf(active = 0) AS inactive_parts,
    countIf(active AND level = 0) AS level0_parts,
    round(avgIf(rows, active), 0) AS avg_rows_per_active_part,
    formatReadableSize(sumIf(bytes_on_disk, active)) AS active_bytes,
    maxIf(modification_time, active) AS newest_active_part
FROM system.parts
WHERE database = '<DB>'
  AND table = '<TABLE>'
GROUP BY partition_id, partition
ORDER BY active_parts DESC
LIMIT 50;

读结果时重点看四种形态:

现象 更可能的方向
单个最新分区 active_parts 快速上升,且 level0_parts 占比高 高频小 INSERT,Part 生成速度过快
很多分区各自只有少量小 Part,但整表总数很高 分区键过细,或单批写入横跨太多分区
少数分区 Part 数高,但平均 Part 已经很大 分区数据量过大,自动 Merge 可选空间变小
inactive_parts 长期很高 Part 清理滞后、长查询引用旧 Part、存储或后台清理有压力

level = 0 可以作为“尚未由 Merge 生成”的新 Part 信号,但不要把它当成唯一证据;真正要看的是它是否持续新增,以及 Merge 是否在同步消化。

如果不知道是哪张表先失控,可以先做全局扫描:

sql
SELECT
    database,
    table,
    count() AS active_parts
FROM system.parts
WHERE active
GROUP BY database, table
ORDER BY active_parts DESC
LIMIT 30;

在多副本或多分片集群里,system.parts、system.merges 和多数日志类系统表都是节点本地视角;排障时要在相关 shard/replica 上分别取证,不能只看发起查询的一个节点。

判断是“产生太快”还是“Merge 太慢”

当前快照只能告诉你“现在有多少”,system.part_log 才能回答“最近是怎么变成这样的”。该表记录 NewPart、MergePartsStart、MergeParts 等 Part 生命周期事件;如果环境未启用 part_log,就只能依赖当前系统表、服务日志和外部监控恢复时间线。

先按分钟比较新 Part 的产生量和 Merge 对 Part 数的消减量:

sql
SELECT
    toStartOfMinute(event_time) AS minute,
    partition_id,
    countIf(event_type = 'NewPart') AS new_parts,
    countIf(event_type = 'MergeParts') AS merges_finished,
    sumIf(
        greatest(toInt64(length(merged_from)) - 1, 0),
        event_type = 'MergeParts'
    ) AS parts_reduced_by_merges
FROM system.part_log
WHERE event_time >= now() - INTERVAL 30 MINUTE
  AND database = '<DB>'
  AND table = '<TABLE>'
  AND error = 0
  AND event_type IN ('NewPart', 'MergeParts')
GROUP BY minute, partition_id
ORDER BY minute, partition_id;

判断逻辑很直接:如果 new_parts 长时间高于 parts_reduced_by_merges,活动 Part 净增长就有持续动力;如果新 Part 产生量已经下降,但存量仍不回落,则要继续查 Merge 是否受阻。这里的 parts_reduced_by_merges 是基于成功 Merge 事件的近似净减少量,不包含复制下载、mutation 等其他 Part 生命周期变化,因此它适合判断趋势,不应当拿来做账务式精确核算。

再看当前正在执行的 Merge:

sql
SELECT
    database,
    table,
    partition_id,
    elapsed,
    round(progress * 100, 2) AS progress_pct,
    num_parts,
    formatReadableSize(total_size_bytes_compressed) AS source_size,
    formatReadableSize(memory_usage) AS memory,
    is_mutation,
    merge_type,
    result_part_name
FROM system.merges
WHERE database = '<DB>'
  AND table = '<TABLE>'
ORDER BY elapsed DESC;

system.merges 是当前进行中 Merge 和 Part mutation 的快照,可以看到源 Part 数、压缩大小、进度、耗时和内存。 如果 Part 数快速上涨而这里始终有 Merge 且进度正常,通常先查写入侧;如果长期只有少量大 Merge、进度很慢,或大量 mutation/TTL 工作占据后台资源,就应转向 Merge 资源和后台任务竞争。

沿写入链路定位“小 Part 制造机”

同步 INSERT 每次落盘都可能产生新的 Part;一个写入块如果同时触及多个 partition,还可能一次生成多个 Part。频繁的小批次写入和过细的分区设计,是生产环境最常见的 Parts 失控来源。ClickHouse 官方建议同步写入尽量批量化,通常至少 1,000 行,理想情况下约 10,000~100,000 行,并避免持续高频的小 INSERT;如果客户端难以批量,可以使用异步写入让服务端聚合小请求。

对同步写入,可以用 part_log 粗估每个有记录的写入查询产生多少 Part。只把带查询 ID 的成功 NewPart 放入比值,同时保留全部成功 Part 计数,便于发现 ID 缺失。

sql
SELECT
    toStartOfMinute(event_time) AS minute,
    uniqExactIf(query_id, notEmpty(query_id)) AS write_query_ids,
    count() AS new_parts,
    countIf(notEmpty(query_id)) AS parts_with_query_id,
    round(parts_with_query_id / nullIf(write_query_ids, 0), 2) AS parts_per_logged_write,
    round(avg(rows), 0) AS avg_rows_per_part,
    formatReadableSize(toUInt64(avg(size_in_bytes))) AS avg_part_size
FROM system.part_log
WHERE event_time >= now() - INTERVAL 30 MINUTE
  AND event_type = 'NewPart'
  AND error = 0
  AND database = '<DB>'
  AND table = '<TABLE>'
GROUP BY minute
ORDER BY minute;

如果同步写入的 parts_per_logged_write 明显大于 1,先检查写入是否跨多个分区,或是否拆成了多个块。如果 avg_rows_per_part 和 avg_part_size 都很小,同时 new_parts 每分钟很高,先查 producer flush 策略、Kafka/Buffer 消费并发、ETL micro-batch 大小和重试机制。多个写入者各自“看起来频率不高”,叠加后也可能把同一热点分区打成大量小 Part。

异步模式下,一个 flush 可以聚合多个客户端请求。不要用 Part 日志的不同 ID 数量当作客户端 INSERT 请求数。启用了 system.asynchronous_insert_log 时,可按 flush_query_id 归集请求,再与同节点写入 Part 的时间、表和分区记录一起核对。

无法在客户端做足够批量时,在写入客户端所用的会话或 profile 下检查异步写入:

sql
SELECT
    name,
    value,
    changed
FROM system.settings
WHERE name IN ('async_insert', 'wait_for_async_insert')
ORDER BY name;

从 ClickHouse 26.3 LTS 起异步 INSERT 默认启用,但用户 profile、客户端或旧版本环境都可能不同,因此生产排障仍应以当前设置为准。需要显式开启时,wait_for_async_insert = 1 更适合作为可靠写入路径,因为客户端会在数据真正 flush 后再收到确认。

沿 Merge 链路排除资源与后台竞争

当写入速率已经合理,Part 仍然不降,就要判断 Merge 为什么没有形成有效吞吐。不要把“system.merges 为空”直接解释成“后台线程坏了”,因为没有可选 Merge、Merge 被停止、磁盘空间不足、候选 Part 太大、mutation/TTL 竞争等都可能表现为当前没有常规 Merge。

先把存储空间、未完成 mutation 和复制队列放在同一个时间窗口里看:

sql
SELECT
    name,
    path,
    formatReadableSize(free_space) AS free_space,
    formatReadableSize(total_space) AS total_space
FROM system.disks
ORDER BY name;
sql
SELECT
    database,
    table,
    mutation_id,
    command,
    create_time,
    parts_to_do,
    is_done,
    latest_failed_part,
    latest_fail_reason
FROM system.mutations
WHERE database = '<DB>'
  AND table = '<TABLE>'
  AND NOT is_done
ORDER BY create_time;

对于 ReplicatedMergeTree,再检查本地 replica 的复制队列:

sql
SELECT
    type,
    count() AS tasks,
    max(num_tries) AS max_tries
FROM system.replication_queue
WHERE database = '<DB>'
  AND table = '<TABLE>'
GROUP BY type
ORDER BY tasks DESC;

排查时把证据归到几个可执行结论:磁盘空闲空间快速下降时先恢复存储余量;大量 mutation 或 TTL Merge 占据后台资源时先停止继续制造重写任务并评估其必要性;复制队列积压时先解决 replica 获取、Keeper 或网络链路;如果某个分区已经存在非常大的 Part,新到 Part 又持续落入同一分区,则要评估当前 partition 粒度是否让自动 Merge 长期处在不利形态,而不是只增加后台线程。

按风险从低到高修复,并验证 Part 数不再净增长

修复顺序应优先改变“Part 的产生速率”,其次恢复“Merge 的处理能力”,最后才考虑调大保护阈值。可以按下面的顺序执行:

  1. 先降新 Part 速率。 合并上游小请求、增大 micro-batch、降低 flush 频率;客户端做不到时使用异步 INSERT,并确保确认语义符合业务要求。
  2. 减少单批次触及的 partition 数。 回填历史数据时按 partition 分批;如果 partition key 本身基数过高,需要通过新表迁移修正物理布局,而不是期待不同 partition 之间发生 Merge。
  3. 恢复 Merge 条件。 处理磁盘空间、I/O 饱和、长期 mutation、TTL 重写和复制队列等竞争源,再观察 system.merges 的吞吐是否恢复。
  4. 谨慎处理超大或已关闭分区。 对确定不再写入的封闭 partition,确有维护需要时,可以在容量评估和低峰窗口内评估定向 OPTIMIZE TABLE ... PARTITION ...。常规 OPTIMIZE 可能找不到合并候选。加上 FINAL 则可能绕过后台合并的大小保护,带来大量重写和 I/O。恢复持续写入应优先解决小批次或资源瓶颈。
  5. 最后才考虑调阈值。 parts_to_throw_insert 和 max_parts_in_total 是保护装置,不是吞吐优化参数;只有已经确认写入形态和 Merge 能力合理、且有容量证据支持时,才适合调整。

修复后不要用“INSERT 不报错了”作为唯一验收。至少连续观察一个覆盖业务高峰的窗口,并同时验证 Part 趋势和限流事件:

sql
SELECT
    now() AS sampled_at,
    partition,
    count() AS active_parts,
    countIf(level = 0) AS level0_parts,
    round(avg(rows), 0) AS avg_rows_per_part
FROM system.parts
WHERE active
  AND database = '<DB>'
  AND table = '<TABLE>'
GROUP BY partition
ORDER BY active_parts DESC
LIMIT 20;

真正恢复的标志是:热点 partition 的活动 Part 数不再单调增长,level0_parts 能被持续消化,DelayedInserts 与 RejectedInserts 的增量回到零或稳定低位,Merge 不再长期停留在低进度,同时写入延迟和查询延迟没有因为强行加大后台合并而恶化。只有这几条同时成立,才能说明你修复的是 Parts 产生与 Merge 消化之间的失衡,而不只是暂时把报错压了下去。

目录与阅读设置

记录一个想法

ClickHouse Parts 过多怎么排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通