容器与云原生 / 系统课时

Prometheus 指标监控

Prometheus 指标监控

Prometheus 在 Kubernetes 中最关键的不是“装一个监控组件”,而是建立从目标发现、周期抓取、时序存储到 PromQL 查询的完整链路。本节用节点、工作负载和应用三类指标说明采集边界,并用 ServiceMonitor 完成一个可验证的应用抓取配置。

学习目标

  • 理解 Kubernetes 服务发现、指标抓取与时序存储之间的关系
  • 区分节点资源、工作负载状态和应用业务指标的常见来源
  • 配置并验证一个基于 ServiceMonitor 的应用指标抓取目标

先看清指标链路

Prometheus 采用拉取模型:它先通过 Kubernetes API 或 Operator 生成的配置发现目标,再按抓取间隔访问目标的 /metrics 端点,把“指标名 + 标签集合 + 时间戳 + 数值”写入时序数据库。Grafana、告警规则和排障查询读取的都是这些已存储样本,而不是直接读取 Pod。

Kubernetes 中 Prometheus 指标采集链路

节点和容器资源使用率通常来自 kubelet 暴露的指标,其中容器资源统计与 cAdvisor 数据有关;Kubernetes 对象的期望状态与实际状态通常由 kube-state-metrics 转换成指标,例如 Pod 阶段、副本数和节点条件;应用自身则应主动暴露 HTTP 请求量、延迟、错误数等业务指标。

这三类数据不能互相替代。CPU 很高说明资源压力,但不能直接说明 Deployment 少了副本;Pod 全部 Running 也不能证明接口没有报错。因此仪表盘与告警通常需要组合三个层次的指标。

为应用声明抓取目标

下面假设集群已运行 Prometheus Operator,业务命名空间 default 中已有名为 demo-api 的 Service,并且 Service 的标签为 app: demo-api,指标端口名称为 metrics,应用在 /metrics 暴露 Prometheus 格式指标。ServiceMonitor 选择的是 Service,不是 Deployment。

yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: demo-api
  namespace: monitoring
spec:
  namespaceSelector:
    matchNames:
      - default
  selector:
    matchLabels:
      app: demo-api
  endpoints:
    - port: metrics
      path: /metrics
      interval: 30s

将配置保存为 demo-api-monitor.yaml 后创建资源:

bash
kubectl apply -f demo-api-monitor.yaml
kubectl get servicemonitor -n monitoring demo-api

预期输出

text
servicemonitor.monitoring.coreos.com/demo-api created
NAME       AGE
demo-api   <TIME>

如果是重复应用,第一行可能显示 configured 或 unchanged;AGE 也会随实际创建时间变化。还要确认 Prometheus 的 serviceMonitorNamespaceSelector 能看到 monitoring 命名空间,并且 serviceMonitorSelector 能选中这个对象;某些发行版会要求 ServiceMonitor 带特定标签。

用 PromQL 验证三层数据

先查询抓取健康度。up 为 1 表示最近一次抓取成功,为 0 表示目标已被发现但抓取失败。

promql
up

预期结果

text
up{instance="<IP>:<PORT>",job="<VALUE>"} 1

实际标签和值会不同。确认抓取链路通畅后,再按数据层选择指标:节点或容器资源可查询 container_cpu_usage_seconds_total 等 kubelet/cAdvisor 指标;工作负载状态可查询 kube_pod_status_phase 等 kube-state-metrics 指标;应用则查询自己暴露的指标,例如 http_requests_total。如果某个指标根本不存在,应先检查采集源是否部署并被抓取,而不是直接修改 Grafana。

抓取失败时按链路定位

发现失败与抓取失败要分开判断。看不到目标时,先核对 ServiceMonitor 的命名空间选择、Service 标签选择器,以及 Prometheus 是否选择了该 ServiceMonitor。目标已出现但 up=0 时,再检查 Service 端口名称、path、网络策略、TLS 与鉴权配置。

最后直接验证应用自身是否真的在目标端口返回 Prometheus 文本格式。只有“目标可发现、端点可访问、格式可解析、样本持续写入”四个条件同时成立,节点、工作负载和应用指标才算真正进入监控链路。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Prometheus 指标监控

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通