NoSQL 与搜索 / 系统课时

使用 Nodes Stats 建立资源基线

使用 Nodes Stats 建立资源基线

Nodes Stats 的价值不在于找到一个“万能阈值”,而是持续记录节点在正常负载下的资源区间。本课用同一组指标建立 CPU、内存、文件描述符、磁盘与网络基线,并说明怎样把累计量转换成可比较的变化率。

学习目标

  • 用 Nodes Stats 一次采集节点级 CPU、堆内存、文件描述符、磁盘和网络指标
  • 区分瞬时比例、容量值与累计计数器,避免错误比较
  • 用稳定采样窗口建立节点自身的正常区间,并识别偏离基线的节点

固定一组可重复采集的指标

基线首先要保证“每次量的是同一件事”。os.cpu.percent 反映节点所在主机的整体 CPU,process.cpu.percent 只看 Elasticsearch 进程;jvm.mem.heap_used_percent 是 JVM 堆使用率;文件描述符要同时读取已打开数和上限;磁盘用可用字节衡量余量;这里的网络字段来自 Elasticsearch transport 层,表示节点间通信的累计收发字节,并不等同于主机全部网络流量。

下面的请求只保留本课需要的字段。<PATH>、<API_KEY>、<ID> 与 <VALUE> 都是动态值,实际环境会不同。

bash
export ES_URL="https://es01.example.com:9200"
export ES_API_KEY="<API_KEY>"

curl -sS --cacert <PATH>/http_ca.crt   -H "Authorization: ApiKey $ES_API_KEY"   "$ES_URL/_nodes/stats/os,process,jvm,fs,transport?filter_path=nodes.*.name,nodes.*.os.cpu.percent,nodes.*.os.mem.used_percent,nodes.*.process.cpu.percent,nodes.*.process.open_file_descriptors,nodes.*.process.max_file_descriptors,nodes.*.jvm.mem.heap_used_percent,nodes.*.fs.total.available_in_bytes,nodes.*.transport.rx_size_in_bytes,nodes.*.transport.tx_size_in_bytes"

预期输出

json
{
  "nodes": {
    "<ID>": {
      "name": "es01",
      "os": {"cpu": {"percent": "<VALUE>"}, "mem": {"used_percent": "<VALUE>"}},
      "process": {
        "cpu": {"percent": "<VALUE>"},
        "open_file_descriptors": "<VALUE>",
        "max_file_descriptors": "<VALUE>"
      },
      "jvm": {"mem": {"heap_used_percent": "<VALUE>"}},
      "fs": {"total": {"available_in_bytes": "<VALUE>"}},
      "transport": {
        "rx_size_in_bytes": "<VALUE>",
        "tx_size_in_bytes": "<VALUE>"
      }
    }
  }
}

真实响应中的资源数值是数字;这里用字符串占位只是为了标明它们随节点和采样时刻变化。采集系统应保留节点名或稳定节点 ID,并用固定周期记录同一字段。

把单点数值变成基线

CPU、OS 内存使用率与堆使用率属于瞬时比例,可以直接形成时间序列;Linux 页缓存会影响 OS 内存观感,因此不能把 os.mem.used_percent 单独当成 JVM 内存压力。文件描述符更适合看 open / max 的占用比例;磁盘可用空间既要看绝对值,也要结合节点磁盘容量判断余量。不要因为某次峰值偏高就立刻认定异常,应观察它是否持续、是否只发生在单节点,以及是否与吞吐变化同步。

transport.rx_size_in_bytes 与 transport.tx_size_in_bytes 是 transport 层累计计数器,直接比较两个节点的总值意义很弱。应在两个采样点之间计算增量,再除以采样间隔得到每秒收发速率;同理,节点重启后累计量会重新开始,因此采集器需要识别计数器回绕或节点重启。

用节点间对比定位异常

同一角色、同一硬件规格的节点应该呈现大致相近的资源曲线。若单个数据节点 CPU 持续更高,同时网络接收或磁盘余量明显异常,优先检查分片是否倾斜;若所有节点堆使用率同时抬升,则更像是全局查询或写入压力变化。

文件描述符尤其适合看趋势而不是只看当前值。占用比例持续接近上限时,需要进一步追查连接数、打开的 segment 文件和操作系统限制,而不是简单提高上限掩盖增长原因。磁盘也同样如此:基线的作用是告诉你“这个节点平时怎样”,然后把异常节点缩小到可调查范围。

最终应把 Nodes Stats 保存为时间序列,而不是人工偶尔执行一次命令。只有固定采样、按节点分组、对累计量求速率并保留历史分位数,CPU、内存、文件描述符、磁盘和网络这些数字才真正成为可用于告警与容量判断的资源基线。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Nodes Stats 建立资源基线

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通