可观测性与稳定性 / 系统课时

Grafana 图表突然没有数据怎么办

Grafana 图表突然没有数据怎么办

Grafana 面板突然变成 “No data” 时,不要先改仪表盘。最有效的做法是沿查询链路逐层验证:先确认 Grafana 实际发出了什么查询,再看 Prometheus 是否有原始序列,最后检查对应 Target 是否还在正常抓取。

学习目标

  • 能按 Grafana Query → Prometheus 原始数据 → Target 状态的顺序定位无数据问题
  • 能区分“查询写错”“指标不存在”和“抓取失败”三类故障
  • 能用 Prometheus HTTP API 验证数据是否仍然存在

先判断问题发生在哪一层

Grafana 通常只是展示层。面板没有数据,既可能是查询条件写错,也可能是 Prometheus 已经没有对应时间序列,还可能是 Exporter 或网络异常导致 Target 抓取失败。排查时应从最靠近现象的一层开始,再逐层向数据源回溯。

Grafana 无数据的逐层排查路径

如果同一数据源上的其他面板正常,而只有一个面板异常,优先怀疑 Query、模板变量或时间范围;如果大量面板同时无数据,则应尽快检查 Prometheus 本身和抓取目标。

检查 Grafana 实际执行的查询

进入异常面板的编辑页面,先确认数据源、PromQL、模板变量和值域是否符合预期。尤其要看变量展开后的标签条件,例如原查询是 job="$job",但变量当前值可能已经为空,或者变成了 Prometheus 中不存在的标签值。

还要检查面板时间范围。若查询依赖最近几分钟的数据,而当前选择的是过旧时间段,或者面板配置了额外的 time shift,也可能表现成没有数据。

直接验证 Prometheus 是否还有原始数据

假设 Prometheus 地址为 http://localhost:9090,可以直接查询 up 指标,确认 Prometheus 是否还能返回当前抓取结果:

bash
curl -G -s 'http://localhost:9090/api/v1/query' \
  --data-urlencode 'query=up'

预期输出

json
{"status":"success","data":{"resultType":"vector","result":[{"metric":{"__name__":"up","instance":"<HOST>:<PORT>","job":"<JOB>"},"value":[<TIME>,"1"]}]}}

实际的 <HOST>、<PORT>、<JOB> 和 <TIME> 会随环境变化。若返回 status=success 但 result 为空,说明查询能够执行,只是当前没有匹配序列;此时应逐步删除标签过滤条件,定位究竟是哪一个条件过滤掉了结果。

如果 up 有数据而业务指标没有数据,应继续在 Prometheus 中直接查询该业务指标,并确认指标名和标签是否发生过变更。Prometheus 能查到而 Grafana 仍然没有数据时,问题通常位于变量展开、面板转换或时间配置。

检查 Target 抓取状态

当 Prometheus 连预期实例的 up 都查不到,或者对应 up 为 0,应检查 Prometheus Targets 页面。重点确认目标是否仍然存在、Health 是否为 Down,以及 Last Scrape Error 是否提示连接拒绝、超时、DNS 失败或返回非成功状态。

常见根因包括 Exporter 进程退出、监听端口变化、防火墙阻断、服务发现标签变化,以及 Prometheus 配置重新加载后目标被移除。修复后不要只观察 Grafana,应先确认 Target 恢复为 Up,再确认 Prometheus 中重新出现数据点。

按证据链完成验证

可靠的故障关闭条件应同时满足三件事:Prometheus Target 为 Up;直接执行原 PromQL 能返回预期时间序列;Grafana 面板在相同时间范围内重新显示数据。只有这三层全部恢复,才能确认问题不是一次短暂或偶然的显示恢复。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Grafana 图表突然没有数据怎么办

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通