大模型原理与训练 / 系统课时

配置就绪探针与模型预热

配置就绪探针与模型预热

大模型服务冷启动时,进程已经存在并不代表可以接流量。模型加载、引擎初始化、Kernel 热身和首轮推理都可能持续数十秒甚至更久。本节把这些阶段纳入探针设计,让 Kubernetes 区分“还在启动”“暂时不可接流量”和“进程已失活”。

学习目标

  • 区分 startupProbe、readinessProbe 与 livenessProbe 的职责边界。
  • 把模型加载、引擎初始化和预热完成状态纳入就绪判断。
  • 用 Pod 状态、事件和健康端点验证冷启动不会被误杀,预热完成后才进入 Service。

先把三个健康状态拆开

startupProbe 解决“启动很慢但仍在正常推进”的问题。只要它还没有成功,Kubernetes 就不会让 liveness 和 readiness 提前干扰启动流程,因此它的失败预算必须覆盖最慢可接受冷启动时间。

readinessProbe 回答“现在能不能接新请求”。模型权重已加载、推理引擎已初始化、必要 Kernel 已热身,并且至少一次代表性推理成功后,才应返回成功。readiness 失败只会把 Pod 从 Service 端点移除,不应直接重启容器。

livenessProbe 只回答“进程是否已经失去自愈可能”。它不应绑定模型加载是否完成,也不应因为下游短暂不可用而失败,否则外部依赖抖动可能把健康实例反复重启。

大模型服务启动与三类探针时序

用端点契约表达启动与就绪

生产推理进程最好暴露三个轻量端点,例如 /startupz、/readyz、/livez。其中 /startupz 只有在模型加载、引擎初始化与预热全部成功后才返回 HTTP 200;/readyz 还可以额外检查是否正在摘流、是否已超过允许的资源水位;/livez 只检查主进程、事件循环或内部看门狗是否仍能工作。

下面是一个完整 Deployment 示例。镜像 <REGISTRY>/llm-server:<TAG> 需要实现上述三个端点,并在 8000 端口提供服务;实际镜像地址按环境替换。

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: llm-server
spec:
  replicas: 2
  selector:
    matchLabels:
      app: llm-server
  template:
    metadata:
      labels:
        app: llm-server
    spec:
      containers:
        - name: server
          image: <REGISTRY>/llm-server:<TAG>
          ports:
            - containerPort: 8000
          startupProbe:
            httpGet:
              path: /startupz
              port: 8000
            periodSeconds: 10
            timeoutSeconds: 2
            failureThreshold: 90
          readinessProbe:
            httpGet:
              path: /readyz
              port: 8000
            periodSeconds: 5
            timeoutSeconds: 2
            failureThreshold: 2
          livenessProbe:
            httpGet:
              path: /livez
              port: 8000
            periodSeconds: 10
            timeoutSeconds: 2
            failureThreshold: 3

这里的 startup 最大失败窗口约为 15 分钟,即 10 × 90 秒。它不是通用推荐值,而是示例预算;生产环境应根据模型大小、权重存储、GPU 初始化和最慢节点的实测分位数调整,并留出合理余量。

把预热放进就绪门槛

预热不是“随便发一次请求”。输入形状、上下文长度、batch 大小或解码路径不同,都可能触发不同的内存分配、图捕获或 Kernel 编译。最小可用策略是选择一组能代表生产主路径、又不会制造过大启动成本的请求,在服务内部完成后再翻转 ready 状态。

建议的状态推进顺序是:进程启动后先加载权重,再创建推理引擎和 KV cache,随后执行必要 Kernel 热身与一轮代表性推理;只有这些步骤全部成功,/startupz 与 /readyz 才返回 200。若预热失败,应保留明确错误并让 startup 最终失败,由 Kubernetes 重启,而不是先对外接流量再暴露首请求故障。

验证冷启动行为

部署后先观察 Pod 的 READY 列和事件。将清单保存为 llm-server.yaml,并替换镜像占位符后执行:

bash
kubectl apply -f llm-server.yaml
kubectl get pod -l app=llm-server -w

预期输出

text
deployment.apps/llm-server created
NAME                          READY   STATUS    RESTARTS   AGE
llm-server-<ID>               0/1     Running   0          <TIME>
llm-server-<ID>               1/1     Running   0          <TIME>

实际 Pod 名称和时间会不同。关键现象是容器可以处于 Running 但 READY 仍为 0/1,直到预热完成才变为 1/1;冷启动阶段不应因为 liveness 过早失败而增加 RESTARTS。

如果 Pod 长时间停留在 0/1,执行下面命令检查探针失败原因:

bash
kubectl describe pod llm-server-<ID>

预期输出

text
Events:
  ...
  Warning  Unhealthy  <TIME>  kubelet  Startup probe failed: HTTP probe failed with statuscode: <STATUS>

<ID>、<TIME> 与 <STATUS> 为动态值。若 startup 持续失败,应回到服务日志判断卡在权重下载、显存分配、引擎初始化还是预热请求;若 startup 已成功但 readiness 失败,则重点检查 ready 条件本身,不要先放宽 liveness。

用探针预算匹配真实启动分布

探针参数应来自冷启动测量,而不是固定抄模板。startup 的总失败窗口至少覆盖“最慢可接受启动时间”;readiness 可以更敏感,因为失败只负责摘流;liveness 则应更保守,避免瞬时 GPU 抖动、短暂停顿或依赖故障触发重启风暴。

最终验收标准很明确:冷启动期间 Pod 不接生产流量且不会被误杀;模型和引擎完成预热后 readiness 才成功;运行期若实例暂时不适合接请求,它能先从 Service 摘除;只有进程真正失活时 liveness 才负责触发自愈。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置就绪探针与模型预热

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通