容器与云原生 / 系统课时

读取弹性容量关键指标

读取弹性容量关键指标

自动伸缩不是“CPU 高了就加 Pod”。要判断容量是否真的不足,需要把负载信号、服务质量和调度结果放在同一条观察链上。本课建立一套可操作的指标读取顺序,让你能区分“业务变忙”“单个 Pod 吃紧”“Pod 已经扩出但调度不下”等不同问题。

学习目标

  • 区分 CPU、内存、请求率、延迟和队列积压分别回答什么问题
  • 读取 Pending Pod、节点可分配余量等容量结果,识别瓶颈发生在哪一层
  • 建立从负载到工作负载再到节点的固定观察顺序,避免只看单一指标

先把指标分成三层

弹性容量观察最容易犯的错误,是把所有指标都当作同一种“压力值”。更实用的分法是三层:业务负载说明来了多少工作,工作负载状态说明 Pod 是否扛得住,集群容量结果说明 Kubernetes 是否还有地方承载新增副本。

层级 典型指标 主要回答的问题
业务负载 请求率、并发数、队列积压 现在有多少工作需要处理
服务与 Pod 延迟、错误率、CPU、内存 当前副本是否在健康完成这些工作
集群容量 Pending Pod、节点 CPU/内存余量 新副本能否真正被调度并运行

弹性容量指标从负载到节点容量的观察链

这三层不能互相替代。例如请求率上涨而 CPU 仍低,可能说明应用主要在等待 I/O;CPU 很高但延迟正常,也可能只是充分利用资源,并不代表必须扩容。

用 kubectl 读取资源与调度结果

集群安装并配置 Metrics API 后,可以先用 kubectl top 查看节点和 Pod 的即时 CPU、内存使用,再结合 Pod 状态判断扩容后是否出现调度阻塞。

bash
kubectl top pod -n <NAMESPACE>
kubectl top node
kubectl get pod -n <NAMESPACE> --field-selector=status.phase=Pending

预期输出

text
NAME              CPU(cores)   MEMORY(bytes)
api-<ID>          <VALUE>      <VALUE>

NAME              CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
<NODE>            <VALUE>      <VALUE> <VALUE>         <VALUE>

NAME              READY   STATUS    RESTARTS   AGE
<pending-pod>     0/1     Pending   0          <TIME>

实际名称和数值会不同;如果最后一条命令没有输出,表示当前没有 Pending 状态 Pod。kubectl top 反映的是使用量,不等于可调度余量,因此还要查看节点的 Allocatable 与已请求资源。

bash
kubectl describe node <NODE>

预期输出

text
Allocatable:
  cpu:                <VALUE>
  memory:             <VALUE>
Allocated resources:
  Resource           Requests      Limits
  cpu                <VALUE>       <VALUE>
  memory             <VALUE>       <VALUE>

调度器主要依据 Pod 的 requests 判断能否放置,而不是依据 kubectl top 看到的瞬时使用量。某节点 CPU 实际使用率不高,但如果可分配 CPU 已被 requests 预留,新 Pod 仍可能调度失败。

业务指标要和资源指标一起读

CPU 和内存是资源消耗,不一定直接代表业务压力。对 Web 服务,请求率和延迟通常更接近用户体验;对异步消费者,队列积压往往比请求率更能反映“工作是否越堆越多”。

一个稳健的读取顺序是:先确认请求率或队列深度是否变化,再看延迟和错误率是否恶化,然后检查 Pod CPU、内存是否接近预期边界,最后确认副本扩出后是否能被调度。这样可以避免把“入口流量增长”和“节点装不下新 Pod”误判成同一种问题。

识别几种典型组合

当请求率上涨、Pod CPU 同步升高、延迟开始变差,而且节点仍有余量时,通常是工作负载副本不足。这类问题适合由 HPA 增加副本。

当 HPA 已经提高期望副本数,但出现越来越多 Pending Pod,同时节点可分配资源不足时,瓶颈已经从工作负载层转移到集群容量层。继续提高 HPA 上限不会让服务真正获得更多运行中的 Pod,此时需要补充节点容量或降低单 Pod 的资源请求。

当 CPU 不高但延迟升高、队列持续积压时,应优先检查外部依赖、锁竞争、I/O 或下游吞吐,而不是直接把 CPU 目标调得更激进。自动伸缩指标必须和服务实际瓶颈匹配,才能把“扩容动作”转化为真正的处理能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

读取弹性容量关键指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通