容器与云原生 / 技术文章

Kubernetes HPA 副本数到底怎么算

HPA 最容易误判的地方,不是比例公式本身,而是公式前后的口径修正:平台工程师、SRE 和应用负责人如果只看“当前值 ÷ 目标值”,常会算出与控制器不同的副本数。下面用可复算的数字拆开 Utilization、AverageValue、缺失指标、多指标和 behavior,最终你可以从 HPA 状态反推它为什么扩、为什么不扩,以及为什么没有一次到位。

先算比例,再看它有没有资格生效

HPA 的核心关系可以写成:

desiredReplicas=⌈currentReplicas×currentMetricValuedesiredMetricValue⌉desiredReplicas = \left\lceil currentReplicas \times \frac{currentMetricValue}{desiredMetricValue} \right\rceil

例如当前有 6 个 Pod,CPU 目标利用率为 60%,控制器看到的当前利用率为 72%,比例就是 72/60=1.272/60=1.2,原始建议为 ⌈6×1.2⌉=8\lceil6\times1.2\rceil=8 个副本。

但这个结果不是拿到比例后立刻写回工作负载。HPA 还会检查容忍区间。集群级默认容忍值通常是 0.1,也就是比例落在 1 附近约 ±10% 的死区时不触发缩放。若当前利用率是 64%,64/60≈1.06764/60\approx1.067,即使向上取整可能得到 7,控制器仍会因为比例位于容忍区间而保持 6 个副本。

向上取整也会让小副本数的缩容显得“不敏感”。例如 6 个副本、当前利用率 51%、目标 60%,比例为 0.85,已经离开默认死区,但 ⌈6×0.85⌉=6\lceil6\times0.85\rceil=6,副本数依旧不会变化。调优时要把“比例是否越过死区”和“取整后是否真的跨过一个整数副本”分开看。

CPU 利用率的分母是 requests,不是 limits

对 Resource 类型的 CPU 或内存 Utilization,关键不是 Pod 的 limits,而是对应资源的 requests。从实现口径看,当前利用率可以理解为:

currentUtilization=∑usage∑requests×100%currentUtilization = \frac{\sum usage}{\sum requests}\times100\%

这意味着 requests 不同的 Pod 会按请求量加权,而不是先算每个 Pod 的百分比再做简单平均。假设三个 Pod 的 CPU 数据如下:

Pod CPU request CPU usage 单 Pod 百分比
A 100m 100m 100%
B 100m 100m 100%
C 1800m 900m 50%

简单平均三个百分比会得到 83.3%,但 HPA 口径是 1100m/2000m=55%1100m/2000m=55\%。如果目标是 60%,比例只有约 0.917,通常仍处在默认容忍区间内,不会因为前两个小 Pod 的 100% 就立即扩容。这个差异在滚动发布期间尤其值得检查,因为新旧 Pod 可能暂时带着不同的 requests。

另一个硬条件是 request 必须存在。对基于资源利用率的 HPA,如果参与计算的相关容器缺少对应 CPU 或内存 request,控制器就无法可靠得到该资源的利用率和副本建议。看到 TARGETS 为 <unknown> 或 HPA 条件提示指标计算失败时,先检查 requests,比先调高 maxReplicas 更有效。

AverageValue 和 Value 不是同一种目标

Utilization 解决“相对 requests 的利用率”问题,而自定义、对象或外部指标还常见 AverageValue 与 Value。二者最容易被误当成只是写法不同。

AverageValue 表达的是“每个 Pod 平均应该承担多少指标量”。例如队列积压总量为 950,目标是每个 Pod 平均处理 100 个待办任务,那么期望副本可以直接理解为 ⌈950/100⌉=10\lceil950/100\rceil=10。如果当前只有 4 个 Pod,控制器看到的每 Pod 平均值约为 237.5,对目标 100 的比例是 2.375,代回通用公式仍然得到 10。

Value 表达的是“这个对象或外部指标整体应接近多少”。如果同样观测到 950,而目标 Value 是 800,比例是 950/800=1.1875950/800=1.1875;以 4 个当前可参与计算的副本为基数,建议值约为 ⌈4×1.1875⌉=5\lceil4\times1.1875\rceil=5,而不是 10。只有当这个整体指标会随着副本增加形成合理负反馈时,这种目标才有清晰的控制意义。

因此,队列长度、并发量、请求率这类业务指标在建模时,先判断你要表达“每 Pod 额度”还是“全局目标”,再选 AverageValue 或 Value;两者选错,公式本身完全正确,伸缩结果也可能完全不符合容量意图。

缺失指标和未就绪 Pod 会让结果变得保守

HPA 不会把缺失样本直接当成不存在。它通常先用有效样本判断伸缩方向,再对缺失指标做一次保守重算,以避免因为采样缺口把副本改得过猛。

假设当前有 5 个等规格 Pod,CPU 目标是 60%,其中 4 个 Pod 都采到 90%,另 1 个缺失指标。只看有效样本,比例是 1.5,似乎会从 5 扩到 ⌈5×1.5⌉=8\lceil5\times1.5\rceil=8。但在潜在扩容方向上,缺失指标会按 0% 目标贡献进行保守估计,于是重算后的平均值变成 (90%×4+0%)/5=72%(90\%\times4+0\%)/5=72\%,比例降到 1.2,建议副本只有 6。

缩容方向采用相反的保守假设:缺失指标按 100% 的目标值计入,尽量减少缩容幅度。CPU 场景里,如果 Pod 仍处于控制器认定的启动或未就绪窗口,而且原始结果准备扩容,这类 Pod 也会按 0% 目标贡献参与保守修正。若重算后比例回到容忍区间,或者伸缩方向被反转,HPA 会放弃这次缩放。

这也是为什么刚扩出来的 Pod 还没 Ready、metrics-server 样本还没补齐时,HPA 的下一轮结果常比人工按当前几个热点 Pod 推算得更克制。

多指标先各算各的,再取最大的副本建议

一个 HPA 配置多个指标时,不会先把 CPU、内存、请求率混成一个综合分数。控制器会为每个指标独立计算一个 desiredReplicas,然后选择其中最大的值,让最紧张的容量约束获胜。

例如当前 6 个副本时,CPU 72% 对目标 60% 给出 8,内存给出 5,外部队列按 AverageValue 给出 10,那么多指标阶段的结果就是 10。随后这个建议还会受到 minReplicas、maxReplicas、稳定窗口和缩放速率策略的约束,所以“某指标算出 10”不等于这一轮一定立刻看到 10 个 Pod。

还有一个容易忽略的失败保护:如果某个指标抓取失败,而其余可用指标只建议缩容,HPA 会跳过这次缩容;如果至少有一个可用指标明确建议扩容,则仍可以向上扩。这个策略的本质是宁可暂时多留容量,也不在指标不完整时贸然回收副本。

behavior 不改公式,它限制公式能走多快

behavior 主要控制稳定窗口和单位时间内允许变化的副本幅度。下面这个 HPA 以 CPU 60% 为目标,扩容允许在 60 秒窗口内最多增加当前副本数的 100% 或 4 个 Pod,默认选择允许变化更大的策略;缩容则保留 300 秒稳定窗口,并限制每 60 秒最多缩减 25%。

yaml
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: checkout-api
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: checkout-api
  minReplicas: 3
  maxReplicas: 20
  behavior:
    scaleUp:
      stabilizationWindowSeconds: 0
      selectPolicy: Max
      policies:
      - type: Percent
        value: 100
        periodSeconds: 60
      - type: Pods
        value: 4
        periodSeconds: 60
    scaleDown:
      stabilizationWindowSeconds: 300
      policies:
      - type: Percent
        value: 25
        periodSeconds: 60
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 60

假设当前是 6 个副本、CPU 当前利用率为 72%,原始公式给出 8。这个扩容幅度只有 +2,没有撞上扩容速率上限,因此可以执行。反过来,如果几轮之后负载骤降,原始公式给出 3,scaleDown.stabilizationWindowSeconds: 300 会参考最近 5 分钟内更高的历史建议,避免立刻从高位砍到 3;等稳定窗口允许缩容后,25% 的速率限制还会继续约束每个周期能减少多少。

实际复算时,可以直接看 HPA 的当前指标、目标和当前/期望副本:

bash
kubectl describe hpa checkout-api

关键输出应呈现类似下面的关系:

text
Metrics:                                               ( current / target )
  resource cpu on pods  (as a percentage of request): 72% (360m) / 60%
Min replicas:                                          3
Max replicas:                                          20
Deployment pods:                                      6 current / 8 desired

遇到“为什么不是我算的那个副本数”时,固定按同一顺序核对:先确认指标类型与目标语义,再复算比例和向上取整,然后检查 requests、缺失或未就绪 Pod、多指标最大值,最后再看 minReplicas、maxReplicas、稳定窗口与缩放速率。把公式层和约束层分开,HPA 的大多数看似反直觉行为都可以被逐步解释。

目录与阅读设置

记录一个想法

Kubernetes HPA 副本数到底怎么算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通