NoSQL 与搜索 / 系统课时
使用 Circuit Breaker 定位内存风险
使用 Circuit Breaker 定位内存风险
Circuit Breaker 报错不是简单的“内存不够”。本课用节点 breaker 统计判断究竟是单个请求、字段数据,还是整体 JVM 堆压力触发保护,并据此选择查询优化、映射治理或容量处理,而不是先把阈值调高。
学习目标
- 读取
request、fielddata、parent的估算值、限制值与触发次数 - 根据 breaker 类型区分高成本请求、字段数据膨胀和整体堆压力
- 用固定时间窗口验证修复是否真正减少新的熔断
先确认哪个 breaker 在触发
Circuit Breaker 的关键字段只有四个:estimated_size_in_bytes 表示当前估算占用,limit_size_in_bytes 是保护阈值,overhead 是估算修正系数,tripped 是节点自启动以来累计触发次数。排障时最重要的是 同一节点上 tripped 是否持续增加,而不是只看一个很大的历史累计值。
在能访问集群、已安装 curl 与 jq,并拥有集群监控权限的运维机上执行下面的主检查。<PATH> 和 <API_KEY> 替换为实际 CA 文件路径与 API Key。
ES_URL="https://localhost:9200"
ES_CA="<PATH>"
ELASTIC_API_KEY="<API_KEY>"
curl --cacert "$ES_CA" -sS -H "Authorization: ApiKey $ELASTIC_API_KEY" "$ES_URL/_nodes/stats/breaker?filter_path=nodes.*.name,nodes.*.breakers" | jq -r '
.nodes[]
| .name as $node
| .breakers
| to_entries[]
| select(.key == "request" or .key == "fielddata" or .key == "parent")
| [$node, .key, .value.estimated_size_in_bytes,
.value.limit_size_in_bytes, .value.tripped, .value.overhead]
| @tsv
'预期输出
es01 request <EST_BYTES> <LIMIT_BYTES> <TRIPPED> <OVERHEAD>
es01 fielddata <EST_BYTES> <LIMIT_BYTES> <TRIPPED> <OVERHEAD>
es01 parent <EST_BYTES> <LIMIT_BYTES> <TRIPPED> <OVERHEAD>实际节点数量和数值会不同。把同一命令间隔一段时间重复执行,记录 tripped 的增量;节点重启后累计值会重新开始,因此不要跨节点生命周期直接比较绝对值。
把三类内存保护分开判断
request breaker 保护一次请求执行时创建的临时数据结构,典型压力来自高基数聚合、过多 bucket 或其他需要大量请求级内存的操作。若 request.tripped 持续增加而 fielddata 很低,应先缩小查询工作集、降低聚合规模和并发,而不是扩大 breaker。
fielddata breaker 关注字段数据和 global ordinals 等堆内结构。若它的估算值长期贴近限制且触发次数增长,应检查是否对 text 字段启用了 fielddata、是否存在高基数字段聚合,以及映射是否本可使用 keyword。清理 fielddata cache 只能作为临时止血,因为后续查询仍可能重新构建。
parent 是总体内存保护层。它触发时不代表某一个子 breaker 一定接近上限;尤其在按实际内存使用量保护时,多个并发操作、缓存、索引工作和其他堆占用叠加,都可能让父级先拒绝请求。此时需要同时查看 JVM heap、GC、并发量和节点角色负载。

按根因处理而不是抬阈值
看到 request 持续触发,优先回到查询:限制高成本聚合、减少一次请求处理的数据量,并控制高成本请求并发。看到 fielddata 持续触发,优先修正字段建模和聚合目标;如果误把 text 当聚合字段,应改用合适的 keyword 多字段,而不是长期依赖 fielddata。
看到 parent 持续触发,则先判断是否为全局 JVM 内存压力。若 heap 长时间处于高位并伴随频繁 GC,应减少并发或缓存压力、拆分热点负载,必要时调整节点容量。Circuit Breaker 只是尽力保护 JVM,并不能覆盖所有内存分配,所以“没有触发 breaker”也不等于没有 OOM 风险。
验证风险是否下降
修复后在与故障时相近的流量条件下重复采样。有效的结果应同时满足三个方向:目标 breaker 的 tripped 不再增长或增速显著下降,estimated_size_in_bytes 不再反复贴近限制值,应用侧对应的 circuit_breaking_exception 与 429 明显减少。若只有错误消失但 JVM 压力仍高,应继续查堆使用和 GC,而不是宣布问题已经解决。