容器与云原生 / 技术文章
Kubernetes HPA 不扩容、扩容慢或抖动怎么排查
当线上负载已经升高,却出现 HPA 不扩容、扩容迟缓或副本反复升降时,真正需要的是把“指标采集、HPA 决策、工作负载更新、Pod 就绪”拆开取证;下面这套排查顺序面向处理 Kubernetes 生产故障的 SRE 与平台工程师,最终要得到一个能被时间线和状态字段证明的故障结论,而不是靠反复改阈值碰运气。
先判断故障卡在哪一段
HPA 不是直接“创建 Pod”的组件。它先读取指标并计算 desiredReplicas,再通过目标对象的 scale 子资源修改副本数;之后由 Deployment、StatefulSet 等工作负载控制器创建 Pod,Scheduler、Kubelet 和运行时继续完成调度、启动与就绪。因此,看到“副本没起来”时,第一步不是改 HPA 参数,而是判断问题停在决策前、决策后还是 Pod 落地阶段。
| 现场现象 | 关键判断 | 优先检查 |
|---|---|---|
指标已高于目标,但 desiredReplicas 没增加 |
HPA 是否拿到有效指标并算出结果 | HPA Conditions、Metrics、Events |
desiredReplicas 已增加,但可用副本增长很慢 |
HPA 已经做出决策,瓶颈在副本落地 | Deployment/StatefulSet 状态、Pod Events |
| 副本数持续上下波动 | 控制回路对噪声、启动期指标或策略过于敏感 | 指标时间序列、behavior、Readiness |
副本达到 maxReplicas 后仍过载 |
HPA 正常工作但被上限截断 | ScalingLimited、容量上限、节点余量 |
先保存一份同一时间窗口内的证据,避免边改配置边丢失现场:
kubectl get hpa checkout-api -n prod -o wide
kubectl describe hpa checkout-api -n prod
kubectl get deployment checkout-api -n prod -o wide
kubectl get pods -n prod -l app=checkout-api -o wide
kubectl top pods -n prod -l app=checkout-api
kubectl get events -n prod --sort-by=.lastTimestamp预期结果不是某一组固定数值,而是能同时看到 HPA 当前/目标指标、副本上下限、Conditions 与 Events,以及工作负载和 Pod 的实际状态;记录其中的 <TIME>、<CURRENT>、<TARGET>、<DESIRED> 和 <READY>,后续才能对齐时间线。
HPA 不扩容:先证明它能算出副本数
遇到“不扩容”,优先看 kubectl describe hpa,不要只看 kubectl get hpa 的一行摘要。三个 Conditions 能快速缩小范围:AbleToScale 说明 HPA 能否读取并更新目标的 scale,ScalingActive 说明当前是否能够计算期望副本数,ScalingLimited 则提示结果是否被 minReplicas、maxReplicas 等边界限制。
典型排查顺序如下:
- 确认 scaleTargetRef 正确。 名称、命名空间和 Kind 必须指向真实工作负载,并且该目标提供可用的
scale子资源。 - 确认指标可读且没有过期。 Resource 指标依赖资源指标链路;Custom/External 指标还要检查对应 adapter 与 APIService。
ScalingActive=False、FailedGetResourceMetric、FailedGetCustomMetric或FailedComputeMetricsReplicas都比“CPU 看起来很高”更有诊断价值。 - 确认 Resource 利用率有 requests 作为分母。 使用 CPU 或内存百分比目标时,相关容器必须声明对应资源的
requests;缺失 requests 会使利用率无法按百分比正确计算。 - 确认没有被边界截断。 当前副本已到
maxReplicas时,指标再高也不会继续扩;若期望值低于minReplicas,则不会继续缩。 - 确认观察的是同一指标口径。 HPA 使用的可能是平均利用率、AverageValue 或 Value,而监控大盘可能展示 P95、节点 CPU 或另一套聚合窗口,两者不能直接等同。
可用下面的命令把最关键字段一次展开:
kubectl get hpa checkout-api -n prod -o yaml重点核对 status.currentMetrics、status.currentReplicas、status.desiredReplicas、status.conditions 与 spec.maxReplicas。如果 currentMetrics 缺失或 ScalingActive=False,先修指标链路;如果 desiredReplicas 已经高于 currentReplicas,问题就不再属于“HPA 没算出来”。
扩容慢:拆成检测、决策和落地三段计时
“扩容慢”最容易被误诊,因为用户看到的是 Ready Pod 增长慢,但中间至少经过指标出现、HPA 同步、期望副本更新、工作负载创建 Pod、调度、镜像拉取、启动探针和 Readiness 等多个阶段。默认 HPA 控制循环通常按约 15 秒级周期执行,但该周期可由控制平面配置修改,所以不能把“15 秒”直接当作业务扩容 SLA。
把时间线拆成三个问题更有效:
- 检测慢:负载已经升高,但 HPA 看到的指标晚。检查 metrics-server 或 adapter 的采样时间、聚合窗口与数据新鲜度。
- 决策慢:HPA 已看到高指标,但
desiredReplicas上升受behavior.scaleUp的stabilizationWindowSeconds、policies或selectPolicy约束。 - 落地慢:
desiredReplicas和工作负载.spec.replicas已经上升,但 Pod 仍处于 Pending、ContainerCreating 或 NotReady。此时继续调 HPA 没有意义,应转向 Scheduler、节点容量、镜像拉取、初始化和 Readiness。
现场可以并行观察三条状态流:
kubectl get hpa checkout-api -n prod -w -o custom-columns='CURRENT:.status.currentReplicas,DESIRED:.status.desiredReplicas,LAST_SCALE:.status.lastScaleTime'
kubectl get deployment checkout-api -n prod -w
kubectl get pods -n prod -l app=checkout-api -w如果先看到 HPA 的期望副本增加,紧接着 Deployment desired 增加,但 Ready 长时间不变,证据已经指向 Pod 落地链路;反之,如果指标明显超过目标而 desiredReplicas 长时间不动,应继续查指标与 HPA 决策条件。
频繁抖动:先找信号和时间常数的不匹配
副本抖动通常不是“阈值太低”这么简单,而是控制回路的时间常数与业务信号不匹配。最常见的四类根因是:指标在目标值附近高频穿越、Pod 启动期 CPU 或内存尖峰污染平均值、Readiness 过早导致尚未稳定的 Pod 被纳入指标,以及 External/Custom 指标的聚合窗口与 HPA 评估节奏不一致。
还要检查两个容易忽略的控制因素。第一,多个指标同时配置时,HPA 会基于各指标分别计算建议副本数并倾向采用更大的建议值,因此某个波动较大的指标可能持续把副本推高。第二,behavior 会限制放大和缩小的速度;尤其缩容通常带有稳定窗口,用来避免刚扩上去就马上缩回来。如果团队显式覆盖了这些默认行为,错误的窗口或策略可能放大抖动。
先读取当前策略,不要直接套用别人的参数:
kubectl get hpa checkout-api -n prod -o jsonpath='{.spec.behavior}{"\n"}'如果输出为空,说明没有在对象中显式配置 behavior;如果有值,重点检查 scaleUp 与 scaleDown 的稳定窗口、每个 policies.periodSeconds、变化幅度以及 selectPolicy。真正的修复应基于业务响应时间来定:指标窗口要能过滤无意义噪声,扩容速度要覆盖峰值到达速度,缩容窗口则要长于典型的短暂回落,否则只是把振荡从指标层搬到副本层。
用一条时间线锁定真正的责任边界
排障时最有价值的产物不是一张静态截图,而是一条能说明“谁先变、谁后变”的时间线。建议至少记录下面六个时间点:
| 时间点 | 证据 | 能回答的问题 |
|---|---|---|
| T0 | 业务负载或指标开始上升 | 故障从什么时候开始 |
| T1 | HPA currentMetrics 超过目标 |
指标链路延迟多大 |
| T2 | desiredReplicas 增加 |
HPA 决策用了多久 |
| T3 | 工作负载 .spec.replicas 增加 |
scale 更新是否成功 |
| T4 | 新 Pod 被创建并调度 | 控制器与 Scheduler 是否拖慢 |
| T5 | 新 Pod Ready | 启动、依赖与 Readiness 是否拖慢 |
如果 T0→T1 很长,查指标;T1→T2 很长,查 HPA 计算和 behavior;T2→T3 异常,查 scale 更新与控制平面;T3→T4 很长,查调度与节点容量;T4→T5 很长,查镜像、初始化、依赖和健康检查。这种分段方式能把“扩容慢”从主观感受变成可量化的延迟归因。
修复后要验证控制回路,而不是只看副本数
修复完成后,至少做一次受控负载或回放验证,并同时观察指标、HPA、工作负载和 Pod。验收条件应包括:高负载出现后指标能按预期进入 HPA,desiredReplicas 在允许的策略范围内上升,新 Pod 能在容量预算内完成调度和 Ready;负载回落后副本不会在目标附近持续往返振荡,也不会因为缩容过快破坏 SLO。
最终可以把故障结论固定成一句可操作的描述,例如“指标在 <TIME> 已超过目标,但 ScalingActive=False,根因位于指标计算链路”,或“desiredReplicas 在 <TIME> 已升至 <DESIRED>,但新增 Pod 持续 Pending,根因位于节点容量/调度约束”。只有当结论能被字段、事件和时间点同时支持时,才算完成 HPA 故障排查闭环。