可观测性与稳定性 / 系统课时

加入主机选择与时间范围

加入主机选择与时间范围

一套主机监控仪表盘如果只能看固定服务器和固定时间段,排障时会频繁改查询。这里把主机做成 Grafana 变量,并配合时间选择器,让同一组面板能快速切换服务器、缩放到故障发生前后的时间窗口。

学习目标

  • 创建可切换 Linux 主机的 Grafana 查询变量。
  • 在 PromQL 中安全引用单选、多选与 All 主机变量。
  • 使用仪表盘时间范围和缩放操作回看具体故障窗口。

建立主机变量

在目标 Dashboard 的变量配置中新增 Query 变量,名称设为 instance,数据源选择 Prometheus。变量值应来自实际主机指标中的 instance 标签,例如以 node_uname_info 为指标、instance 为标签获取可选主机。

如果希望一次比较多台服务器,可以开启 Multi-value;需要一键查看全部主机时,再开启 Include All。开启这两项后,一个变量值可能展开成多个主机组成的正则表达式,因此面板查询应使用 =~,而不是只适合单值精确匹配的 =。

变量的 Refresh 通常可设为 Dashboard 加载时刷新。只有变量查询本身依赖当前时间范围时,才需要改为随时间范围变化刷新。

让面板查询跟随主机选择

下面以 CPU 使用率面板为例。查询通过 $instance 过滤主机,并使用 $__rate_interval 作为 rate() 的区间,使计算窗口能随面板分辨率和数据源抓取间隔调整。

promql
100 - (
  avg by (instance) (
    rate(node_cpu_seconds_total{
      mode="idle",
      instance=~"$instance"
    }[$__rate_interval])
  ) * 100
)

预期结果

text
当选择一台主机时:仅返回 instance="<HOST>:<PORT>" 的 CPU 使用率时间序列
当选择多台主机或 All 时:返回所有被变量匹配主机的独立时间序列

实际主机名、端口和数值会随环境变化。若变量开启 Multi-value 或 Include All,却把查询写成 instance="$instance",选择多个值时常会得到空结果,因为此时变量不再代表单个精确字符串。

用时间范围锁定故障窗口

Grafana 顶部时间选择器控制整个 Dashboard 的查询起止时间。查看日常趋势时可以选择相对范围,例如最近 6 小时;已知事故发生时刻时,使用绝对起止时间更容易对齐日志、发布和告警记录。

排障时建议先看较宽范围确认异常从何时开始,再在图表中框选异常区域逐步放大。这样不会因为一开始把窗口设得过窄而错过异常前的基线,也能观察恢复后的指标是否回落。

主机变量与时间范围控件的位置

验证筛选是否真正生效

先选择一台主机,确认各面板都只显示该 instance 的数据;再切换到另一台主机,检查曲线和图例是否同步变化。随后把时间范围切到一个已知有负载波动的窗口,确认所有面板同时重查该时间段。

如果只有部分面板跟随主机变化,通常说明这些面板的 PromQL 仍写死了 instance,或者根本没有使用该标签。把主机变量和时间范围统一到 Dashboard 层后,一套仪表盘就能承担“跨主机比较”和“按故障时间回看”两类常见排障任务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

加入主机选择与时间范围

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通