容器与云原生 / 系统课时
Grafana 仪表盘
Grafana 仪表盘
Grafana 的价值不在于把指标画成图,而在于把集群容量、工作负载状态和应用性能放到同一个观察上下文中。本节连接 Prometheus 数据源,设计三层面板,并用命名空间变量把固定查询改造成可复用的 Kubernetes 仪表盘。
学习目标
- 正确连接 Grafana 与 Prometheus,并验证数据源可查询
- 为集群容量、工作负载和应用性能选择合适的 PromQL
- 使用变量减少硬编码,让同一仪表盘可切换命名空间
连接 Prometheus 数据源
Grafana 不负责抓取 Kubernetes 指标,它通过 Prometheus HTTP API 查询已经存储的时序数据。连接地址必须从 Grafana 所在网络可访问;如果二者都运行在集群内,通常应使用 Kubernetes Service DNS,而不是 localhost。
数据源 URL 可以写成 http://<PROMETHEUS_SERVICE>.monitoring.svc.cluster.local:<PORT>。<PROMETHEUS_SERVICE> 与 <PORT> 要替换为当前集群真实值。保存前先确认 Grafana Pod 能解析并访问这个地址,再执行数据源连接测试。

在 Explore 中先执行最小查询,确认 Prometheus 能返回数据,再开始做仪表盘。
up预期结果
up{instance="<IP>:<PORT>",job="<VALUE>"} 1如果完全没有结果,优先检查数据源 URL 和 Prometheus 中是否存在目标;如果有序列但值为 0,则问题已经进入 Prometheus 抓取链路,而不是 Grafana 连接层。
构建集群容量与工作负载面板
容量面板要回答“集群还能承载多少”,工作负载面板要回答“资源主要消耗在哪里”。如果已经采集 kube-state-metrics 和 kubelet/cAdvisor 指标,可以分别建立 CPU 可分配量与 Pod CPU 使用趋势。
下面两条查询分别放入两个 Panel:
sum(kube_node_status_allocatable{resource="cpu"})预期结果
{} <VALUE>sum(rate(container_cpu_usage_seconds_total{container!="",namespace="$namespace"}[5m])) by (pod)预期结果
{pod="<VALUE>"} <VALUE>第一条适合 Stat 或 Gauge,第二条适合 Time series。容量类指标看总量与比例,工作负载类指标应保留 pod、namespace 等必要维度,否则总和正常时可能掩盖单个 Pod 的异常。
加入应用性能面板
应用面板应直接对应用户体验,例如吞吐、错误率和延迟。指标名称取决于应用埋点;如果应用暴露 http_requests_total,可以用速率计算最近五分钟平均请求吞吐。
sum(rate(http_requests_total{namespace="$namespace"}[5m]))预期结果
{} <VALUE>如果你的应用没有 namespace 标签,应按实际标签修改过滤条件,不能为了套用查询而虚构标签。延迟如果使用 Histogram,应基于真实的 bucket 指标计算分位数;只有 Counter 时无法从请求总数推导延迟。
用变量复用同一套面板
把命名空间写死在每个 PromQL 中会产生大量重复仪表盘。可创建名为 namespace 的查询变量,让选项来自 Prometheus 标签值,然后在面板查询中使用 $namespace。
label_values(kube_pod_info, namespace)预期结果
default
kube-system
<VALUE>实际命名空间集合由集群决定。切换变量后,容量之外的工作负载与应用面板应同步刷新;如果变量能列出命名空间但面板为空,通常说明对应指标没有 namespace 标签,或者变量值与查询标签不一致。

验收仪表盘是否真正有用
验收时不要只看“图能显示”。先切换两个不同命名空间,确认查询范围确实变化;再扩大和缩小时间范围,确认 Counter 使用 rate() 后趋势合理;最后把某个 Pod 的资源变化与应用吞吐或错误率放在同一时间窗口比较。
一个可用于排障的 Grafana 仪表盘应形成清晰的观察顺序:先确认集群是否有容量压力,再定位到具体命名空间和 Pod,最后判断应用吞吐、错误和延迟是否同步异常。这样仪表盘才是故障定位入口,而不是只展示“很多曲线”的大屏。