NoSQL 与搜索 / 系统课时
使用 Nodes Stats 建立资源基线
使用 Nodes Stats 建立资源基线
Nodes Stats 的价值不在于找到一个“万能阈值”,而是持续记录节点在正常负载下的资源区间。本课用同一组指标建立 CPU、内存、文件描述符、磁盘与网络基线,并说明怎样把累计量转换成可比较的变化率。
学习目标
- 用 Nodes Stats 一次采集节点级 CPU、堆内存、文件描述符、磁盘和网络指标
- 区分瞬时比例、容量值与累计计数器,避免错误比较
- 用稳定采样窗口建立节点自身的正常区间,并识别偏离基线的节点
固定一组可重复采集的指标
基线首先要保证“每次量的是同一件事”。os.cpu.percent 反映节点所在主机的整体 CPU,process.cpu.percent 只看 Elasticsearch 进程;jvm.mem.heap_used_percent 是 JVM 堆使用率;文件描述符要同时读取已打开数和上限;磁盘用可用字节衡量余量;这里的网络字段来自 Elasticsearch transport 层,表示节点间通信的累计收发字节,并不等同于主机全部网络流量。
下面的请求只保留本课需要的字段。<PATH>、<API_KEY>、<ID> 与 <VALUE> 都是动态值,实际环境会不同。
export ES_URL="https://es01.example.com:9200"
export ES_API_KEY="<API_KEY>"
curl -sS --cacert <PATH>/http_ca.crt -H "Authorization: ApiKey $ES_API_KEY" "$ES_URL/_nodes/stats/os,process,jvm,fs,transport?filter_path=nodes.*.name,nodes.*.os.cpu.percent,nodes.*.os.mem.used_percent,nodes.*.process.cpu.percent,nodes.*.process.open_file_descriptors,nodes.*.process.max_file_descriptors,nodes.*.jvm.mem.heap_used_percent,nodes.*.fs.total.available_in_bytes,nodes.*.transport.rx_size_in_bytes,nodes.*.transport.tx_size_in_bytes"预期输出
{
"nodes": {
"<ID>": {
"name": "es01",
"os": {"cpu": {"percent": "<VALUE>"}, "mem": {"used_percent": "<VALUE>"}},
"process": {
"cpu": {"percent": "<VALUE>"},
"open_file_descriptors": "<VALUE>",
"max_file_descriptors": "<VALUE>"
},
"jvm": {"mem": {"heap_used_percent": "<VALUE>"}},
"fs": {"total": {"available_in_bytes": "<VALUE>"}},
"transport": {
"rx_size_in_bytes": "<VALUE>",
"tx_size_in_bytes": "<VALUE>"
}
}
}
}真实响应中的资源数值是数字;这里用字符串占位只是为了标明它们随节点和采样时刻变化。采集系统应保留节点名或稳定节点 ID,并用固定周期记录同一字段。
把单点数值变成基线
CPU、OS 内存使用率与堆使用率属于瞬时比例,可以直接形成时间序列;Linux 页缓存会影响 OS 内存观感,因此不能把 os.mem.used_percent 单独当成 JVM 内存压力。文件描述符更适合看 open / max 的占用比例;磁盘可用空间既要看绝对值,也要结合节点磁盘容量判断余量。不要因为某次峰值偏高就立刻认定异常,应观察它是否持续、是否只发生在单节点,以及是否与吞吐变化同步。
transport.rx_size_in_bytes 与 transport.tx_size_in_bytes 是 transport 层累计计数器,直接比较两个节点的总值意义很弱。应在两个采样点之间计算增量,再除以采样间隔得到每秒收发速率;同理,节点重启后累计量会重新开始,因此采集器需要识别计数器回绕或节点重启。
用节点间对比定位异常
同一角色、同一硬件规格的节点应该呈现大致相近的资源曲线。若单个数据节点 CPU 持续更高,同时网络接收或磁盘余量明显异常,优先检查分片是否倾斜;若所有节点堆使用率同时抬升,则更像是全局查询或写入压力变化。
文件描述符尤其适合看趋势而不是只看当前值。占用比例持续接近上限时,需要进一步追查连接数、打开的 segment 文件和操作系统限制,而不是简单提高上限掩盖增长原因。磁盘也同样如此:基线的作用是告诉你“这个节点平时怎样”,然后把异常节点缩小到可调查范围。
最终应把 Nodes Stats 保存为时间序列,而不是人工偶尔执行一次命令。只有固定采样、按节点分组、对累计量求速率并保留历史分位数,CPU、内存、文件描述符、磁盘和网络这些数字才真正成为可用于告警与容量判断的资源基线。