NoSQL 与搜索 / 系统课时

用 Hot Threads 定位 CPU 热点

用 Hot Threads 定位 CPU 热点

节点 CPU 飙高时,Hot Threads 能把“哪个节点很忙”进一步缩小到“哪些 Java 线程正在消耗 CPU,以及它们反复停留在哪段调用栈”。本课用多次采样把热点关联到搜索、脚本、Lucene 合并或集群管理任务,并给出下一步证据链。

学习目标

  • 从集群中选出真正需要采样的高 CPU 节点
  • 正确读取 Hot Threads 的线程占比、采样次数与重复栈
  • 将持续热点归因到搜索、脚本、合并或集群管理工作

从高 CPU 节点开始采样

不要一上来对所有节点盲目抓 Hot Threads。先用 CAT Nodes 按 CPU 排序,再只采样热点节点。下面示例需要集群监控权限;full_id=true 让 CAT Nodes 返回完整节点 ID,便于直接作为 Hot Threads 的节点选择器。

bash
ES_URL="https://localhost:9200"
ES_CA="<PATH>"
ELASTIC_API_KEY="<API_KEY>"

curl --cacert "$ES_CA" -sS   -H "Authorization: ApiKey $ELASTIC_API_KEY"   "$ES_URL/_cat/nodes?v=true&full_id=true&h=id,name,cpu,load_1m,heap.percent,node.role&s=cpu:desc"

NODE_ID="<NODE_ID>"
curl --cacert "$ES_CA" -sS   -H "Authorization: ApiKey $ELASTIC_API_KEY"   "$ES_URL/_nodes/$NODE_ID/hot_threads?threads=3&type=cpu&interval=500ms&snapshots=10&ignore_idle_threads=true"

预期输出

text
id        name    cpu    load_1m    heap.percent    node.role
<ID>      es01    <CPU>  <LOAD>     <HEAP_PERCENT>  <ROLE>

::: {es01}{<ID>}{<ID>}{es01}{<IP>}{<IP>:<PORT>}...
   Hot threads at <TIME>, interval=500ms, busiestThreads=3, ignoreIdleThreads=true:
   <PERCENT>% [cpu=<PERCENT>%, other=<PERCENT>%] ... cpu usage by thread '<THREAD_NAME>'
     <COUNT>/10 snapshots sharing following <COUNT> elements
       <STACK_FRAME>
       <STACK_FRAME>

实际线程名、百分比和栈帧会随负载变化。Hot Threads 是短时间采样,不是长期 profiler;单次结果只能提供线索,不能独立证明根因。

用重复采样筛掉偶然热点

判断时同时看三个信号:线程 CPU 占比是否高、10 次快照中是否大量共享同一段栈、以及相隔数秒重新采样后是否仍出现同类栈。只有三个信号持续一致,才值得把它当作主热点。

如果第一次看到某个搜索线程占满 CPU,第二次已经消失,它可能只是刚好撞上采样窗口。反之,同一个查询执行栈或脚本栈在多次采样里反复出现,才说明它持续占用计算时间。

Hot Threads 从高 CPU 到根因的诊断路径

把调用栈归到四类工作

热点线索 常见含义 下一步核对
search 线程及查询、聚合执行栈反复出现 慢查询、高成本聚合或大量搜索计算 搜索慢日志、Tasks API、查询 Profile
Painless、script 或 ingest processor 栈反复出现 脚本字段、script score、runtime field 或 ingest 脚本计算重 定位具体脚本、pipeline 与请求来源
Lucene merge、ConcurrentMergeScheduler 一类栈持续出现 索引写入触发段合并,CPU 可能同时受磁盘吞吐影响 merges stats、索引速率、segment 数和磁盘延迟
MasterService、cluster state 更新或发布相关栈持续出现 集群状态变更过密、映射或分片管理任务偏重 pending tasks、mapping 变更、分片数量与集群状态规模

线程名只能帮助缩小范围,真正有辨识度的是重复出现的栈帧。例如线程名是 write,但栈里持续落在 Painless processor,就应先追脚本处理;不能因为看到 write 就直接归因于普通索引吞吐。

让 Hot Threads 与其他证据闭环

搜索热点要与慢日志或正在运行的 search task 对上,才能确定具体请求;脚本热点要落到具体 script、runtime field 或 ingest processor;merge 热点要同时观察索引速率、merge 时间与磁盘压力;集群管理热点则应检查 pending cluster tasks、频繁 mapping 更新和分片变化。

完成诊断的标准不是看到一段漂亮的栈,而是能形成闭环:高 CPU 节点 → 稳定重复的热点栈 → 对应任务或工作负载 → 调整后 CPU 与业务延迟共同回落。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Hot Threads 定位 CPU 热点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通