大模型原理与训练 / 系统课时

按队列和时延设计自动扩缩容

按队列和时延设计自动扩缩容

大模型推理实例即使 CPU 很闲,也可能已经被 KV Cache、批处理槽位或 GPU 计算压满。本节把扩缩容信号改为队列、TTFT、并发与 GPU 利用率,并把冷启动、缩容排空和防震荡一起纳入控制环,最终得到一套可在 Kubernetes 上执行的扩缩容策略。

学习目标

  • 用队列长度与 TTFT 作为面向用户体验的主扩容信号。
  • 用并发和 GPU 利用率补充容量判断,并理解多指标共同驱动扩容的方式。
  • 为模型冷启动、缩容排空和指标波动设置稳定窗口,避免频繁震荡。

先让指标代表真正的容量压力

推理服务的 CPU 利用率通常不是最早出现的瓶颈。请求已经开始排队时,CPU 可能仍然很低;相反,模型加载、Tokenizer 或日志线程又可能让 CPU 短时升高,却不代表需要更多 GPU 实例。因此扩容信号应优先回答“用户是否开始等待”和“单个副本还能接多少请求”。

队列长度适合做最直接的容量信号:只要等待请求持续增加,就说明现有批处理槽位来不及消化流量。TTFT 则直接约束首 Token 体验,可用于捕获“队列还不长,但 Prefill 已变慢”的情况。活跃序列数反映每个实例正在承载的并发,GPU 利用率用于确认设备是否接近持续饱和。

这四类指标不要简单求平均。生产上更稳妥的做法是让每个指标独立计算所需副本数,再采用更激进的扩容建议;缩容则必须额外经过稳定窗口和排空约束。这样队列或 TTFT 任一恶化都能触发扩容,而低 GPU 利用率不会把仍在处理长请求的实例过早缩掉。

队列与时延驱动的自动扩缩容控制环

配置多信号扩缩容

下面假设命名空间 inference 中已有名为 llm-serving 的 Deployment,KEDA 已安装,并且 Prometheus 能查询示例中的四个指标。队列与活跃序列使用 AverageValue,让目标值表达“每个副本可承受的平均压力”;TTFT 和 GPU 利用率使用 Value,用于在体验或设备饱和度越过阈值时放大副本需求。

yaml
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: llm-serving-autoscaler
  namespace: inference
spec:
  scaleTargetRef:
    name: llm-serving
  pollingInterval: 15
  cooldownPeriod: 600
  minReplicaCount: 2
  maxReplicaCount: 16
  advanced:
    horizontalPodAutoscalerConfig:
      behavior:
        scaleUp:
          stabilizationWindowSeconds: 0
          policies:
            - type: Percent
              value: 100
              periodSeconds: 60
            - type: Pods
              value: 2
              periodSeconds: 60
          selectPolicy: Max
        scaleDown:
          stabilizationWindowSeconds: 600
          policies:
            - type: Pods
              value: 1
              periodSeconds: 120
          selectPolicy: Min
  triggers:
    - type: prometheus
      name: queue-depth
      metricType: AverageValue
      metadata:
        serverAddress: http://prometheus.monitoring.svc:9090
        query: sum(llm_queue_depth{service="llm-serving"})
        threshold: "4"
    - type: prometheus
      name: ttft-p95
      metricType: Value
      metadata:
        serverAddress: http://prometheus.monitoring.svc:9090
        query: histogram_quantile(0.95, sum by (le) (rate(llm_ttft_seconds_bucket{service="llm-serving"}[2m])))
        threshold: "1.5"
    - type: prometheus
      name: active-sequences
      metricType: AverageValue
      metadata:
        serverAddress: http://prometheus.monitoring.svc:9090
        query: sum(llm_active_sequences{service="llm-serving"})
        threshold: "24"
    - type: prometheus
      name: gpu-utilization
      metricType: Value
      metadata:
        serverAddress: http://prometheus.monitoring.svc:9090
        query: avg(llm_gpu_utilization_ratio{service="llm-serving"})
        threshold: "0.85"

这组阈值只是容量规划的起点,必须用压测结果校准。例如单卡在 24 条活跃序列时是否仍满足 TTFT SLO,应由目标模型、最大上下文、量化方式和批处理策略共同决定。若 GPU 利用率指标是 0~100 的百分数而不是 0~1 的比例,阈值也应相应改成 85。

首次创建资源时,可执行:

bash
kubectl create -f llm-autoscale.yaml

预期输出:

text
scaledobject.keda.sh/llm-serving-autoscaler created

随后观察 KEDA 创建的 HPA、队列曲线与 TTFT 曲线。压测时如果队列持续高于每副本 4 个请求,或 TTFT P95 持续超过 1.5 秒,期望副本数应向上增长;指标恢复后不会立即缩容,而是先经过 600 秒稳定窗口。

把冷启动和排空时间算进控制环

GPU Pod 从创建到真正可服务,往往还要经历调度、镜像拉取、模型权重加载、显存分配和一次或多次预热。扩容如果只在 TTFT 已严重恶化后才触发,新副本尚未 Ready,排队还会继续增长。因此应把“从触发扩容到 readiness 通过”的 P95 时间测出来,并据此保留足够的 minReplicaCount 或更早的队列阈值。

缩容的风险相反:Pod 可能仍在生成长响应。应让 readiness 在排空开始时先摘除新流量,再通过应用的优雅关闭逻辑等待在途请求完成,并把 terminationGracePeriodSeconds 设得不短于典型长请求的排空时间。上例每 120 秒最多缩 1 个 Pod,再叠加 600 秒稳定窗口,就是在牺牲一点空闲成本换取更低的抖动概率。

用压测验证而不是凭阈值上线

验收时至少做一次阶跃流量测试:从稳定流量突然提升到目标峰值,记录队列开始增长、扩容被触发、新 Pod Ready、TTFT 恢复这四个时间点。若 TTFT 在新副本 Ready 前已经越过不可接受区间,应优先降低扩容阈值、提高保底副本数或缩短模型启动链路,而不是继续调高最大副本数。

再做一次反向测试,把流量恢复到低位并保留少量长请求,确认旧 Pod 会先停止接收新请求,再完成在途请求后退出。只有“扩得够早、缩得够慢、Pod 能排空”三件事同时成立,自动扩缩容才真正适合大模型推理服务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

按队列和时延设计自动扩缩容

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通