可观测性与稳定性 / 系统课时

Grafana 变量怎样切换服务器

Grafana 变量怎样切换服务器

当一个仪表盘需要查看几十台服务器时,为每台主机复制一份 Dashboard 很难维护。Grafana Dashboard Variable 可以从 Prometheus Label 动态生成下拉选项,再把选中的服务和主机注入 PromQL,让同一组面板随选择自动切换。

学习目标

  • 创建基于 Prometheus Label Values 的 Query Variable
  • 用服务和主机变量过滤同一组 Dashboard 面板
  • 正确处理变量的单选、多选和 All 模式

用 Label 生成服务和主机选项

进入目标 Dashboard 的编辑模式,在 Variables 中新增 Query 类型变量。对于 Prometheus,应优先使用当前的 Label values 查询类型,而不是旧版 Classic query 的 label_values(...) 写法。

先创建服务变量 job:

  1. Name 填 job,Data source 选择 Prometheus。
  2. Query type 选择 Label values。
  3. Label 选择 job,Metric 可填写 up,让选项来自 Prometheus 当前目标。
  4. 在 Preview 中确认能看到真实服务标签值,再保存变量。

再创建主机变量 instance:

  1. Name 填 instance,Data source 同样选择 Prometheus。
  2. Query type 选择 Label values。
  3. Label 选择 instance。
  4. Metric 可以填写 node_cpu_seconds_total,让下拉框只出现实际暴露 Node Exporter CPU 指标的实例。

Grafana Dashboard Variable 的 Label values 配置位置

完成后,Dashboard 顶部会出现 job 和 instance 下拉框。增加或删除 Prometheus Target 后,只要对应 Label 值发生变化,变量重新查询时就能得到新的选项,不需要复制仪表盘。

把变量写进 PromQL

变量真正影响面板数据的地方是 PromQL。下面用 CPU 使用率作为主示例,同时引用 job 与 instance。为了兼容 Multi-value 和 Include All,Label 匹配使用 =~,而不是精确匹配运算符 =。

promql
100 * (
  1 -
  avg by (instance) (
    rate(
      node_cpu_seconds_total{
        job=~"$job",
        instance=~"$instance",
        mode="idle"
      }[$__rate_interval]
    )
  )
)

预期结果

text
{instance="<HOST>:<PORT>"} <CPU_USAGE_PERCENT>

实际主机、端口和百分比取决于 Prometheus 当前目标及所选变量。切换 Dashboard 顶部的 job 或 instance 后,Grafana 会重新执行查询,面板只保留匹配当前选择的时间序列。

$__rate_interval 是 Grafana 为 Prometheus rate() 和 increase() 提供的内置区间变量,可以随面板时间范围和抓取间隔调整,通常比给可缩放 Dashboard 固定写死一个区间更稳妥。

单选、多选和 All 要匹配查询写法

单选变量只有一个值时,instance="$instance" 可以进行精确匹配。但开启 Multi-value 后,变量可能代表多个值;启用 Include All 后,它也可能被展开为能匹配多个值的正则表达式。因此需要用 instance=~"$instance"。

如果值班场景明确一次只查看一台服务器,可以关闭 Multi-value 和 Include All,并使用精确匹配。若需要并排比较多台服务器,则保留多选,并在面板图例中展示 instance,避免多条曲线无法区分。

验证变量是否真的切换了数据

保存 Dashboard 后,不要只确认下拉框出现了,还要验证它确实改变查询结果。

  1. 切换 job,确认使用该变量的面板只返回对应服务的序列。
  2. 在 instance 中选择一台主机,确认 CPU 面板图例或查询结果只包含目标实例。
  3. 切换到另一台主机,确认曲线、Stat 或 Gauge 的数据同步变化。
  4. 如果开启 Multi-value 或 All,选择多个实例,确认 PromQL 使用 =~ 且能够同时返回多组序列。

如果变量下拉框有值但面板显示 No data,可以先在 Explore 中去掉变量过滤条件执行原始 PromQL,确认指标和 job、instance Label 确实存在,再检查变量返回值是否与 Label 内容一致。Dashboard Variable 的核心价值,是把“每台服务器一份仪表盘”变成“同一份查询模板切换监控上下文”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Grafana 变量怎样切换服务器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通