可观测性与稳定性 / 系统课时
Grafana 图表突然没有数据怎么办
Grafana 图表突然没有数据怎么办
Grafana 面板突然变成 “No data” 时,不要先改仪表盘。最有效的做法是沿查询链路逐层验证:先确认 Grafana 实际发出了什么查询,再看 Prometheus 是否有原始序列,最后检查对应 Target 是否还在正常抓取。
学习目标
- 能按 Grafana Query → Prometheus 原始数据 → Target 状态的顺序定位无数据问题
- 能区分“查询写错”“指标不存在”和“抓取失败”三类故障
- 能用 Prometheus HTTP API 验证数据是否仍然存在
先判断问题发生在哪一层
Grafana 通常只是展示层。面板没有数据,既可能是查询条件写错,也可能是 Prometheus 已经没有对应时间序列,还可能是 Exporter 或网络异常导致 Target 抓取失败。排查时应从最靠近现象的一层开始,再逐层向数据源回溯。

如果同一数据源上的其他面板正常,而只有一个面板异常,优先怀疑 Query、模板变量或时间范围;如果大量面板同时无数据,则应尽快检查 Prometheus 本身和抓取目标。
检查 Grafana 实际执行的查询
进入异常面板的编辑页面,先确认数据源、PromQL、模板变量和值域是否符合预期。尤其要看变量展开后的标签条件,例如原查询是 job="$job",但变量当前值可能已经为空,或者变成了 Prometheus 中不存在的标签值。
还要检查面板时间范围。若查询依赖最近几分钟的数据,而当前选择的是过旧时间段,或者面板配置了额外的 time shift,也可能表现成没有数据。
直接验证 Prometheus 是否还有原始数据
假设 Prometheus 地址为 http://localhost:9090,可以直接查询 up 指标,确认 Prometheus 是否还能返回当前抓取结果:
curl -G -s 'http://localhost:9090/api/v1/query' \
--data-urlencode 'query=up'预期输出
{"status":"success","data":{"resultType":"vector","result":[{"metric":{"__name__":"up","instance":"<HOST>:<PORT>","job":"<JOB>"},"value":[<TIME>,"1"]}]}}实际的 <HOST>、<PORT>、<JOB> 和 <TIME> 会随环境变化。若返回 status=success 但 result 为空,说明查询能够执行,只是当前没有匹配序列;此时应逐步删除标签过滤条件,定位究竟是哪一个条件过滤掉了结果。
如果 up 有数据而业务指标没有数据,应继续在 Prometheus 中直接查询该业务指标,并确认指标名和标签是否发生过变更。Prometheus 能查到而 Grafana 仍然没有数据时,问题通常位于变量展开、面板转换或时间配置。
检查 Target 抓取状态
当 Prometheus 连预期实例的 up 都查不到,或者对应 up 为 0,应检查 Prometheus Targets 页面。重点确认目标是否仍然存在、Health 是否为 Down,以及 Last Scrape Error 是否提示连接拒绝、超时、DNS 失败或返回非成功状态。
常见根因包括 Exporter 进程退出、监听端口变化、防火墙阻断、服务发现标签变化,以及 Prometheus 配置重新加载后目标被移除。修复后不要只观察 Grafana,应先确认 Target 恢复为 Up,再确认 Prometheus 中重新出现数据点。
按证据链完成验证
可靠的故障关闭条件应同时满足三件事:Prometheus Target 为 Up;直接执行原 PromQL 能返回预期时间序列;Grafana 面板在相同时间范围内重新显示数据。只有这三层全部恢复,才能确认问题不是一次短暂或偶然的显示恢复。