大模型原理与训练 / 系统课时
配置就绪探针与模型预热
配置就绪探针与模型预热
大模型服务冷启动时,进程已经存在并不代表可以接流量。模型加载、引擎初始化、Kernel 热身和首轮推理都可能持续数十秒甚至更久。本节把这些阶段纳入探针设计,让 Kubernetes 区分“还在启动”“暂时不可接流量”和“进程已失活”。
学习目标
- 区分
startupProbe、readinessProbe与livenessProbe的职责边界。 - 把模型加载、引擎初始化和预热完成状态纳入就绪判断。
- 用 Pod 状态、事件和健康端点验证冷启动不会被误杀,预热完成后才进入 Service。
先把三个健康状态拆开
startupProbe 解决“启动很慢但仍在正常推进”的问题。只要它还没有成功,Kubernetes 就不会让 liveness 和 readiness 提前干扰启动流程,因此它的失败预算必须覆盖最慢可接受冷启动时间。
readinessProbe 回答“现在能不能接新请求”。模型权重已加载、推理引擎已初始化、必要 Kernel 已热身,并且至少一次代表性推理成功后,才应返回成功。readiness 失败只会把 Pod 从 Service 端点移除,不应直接重启容器。
livenessProbe 只回答“进程是否已经失去自愈可能”。它不应绑定模型加载是否完成,也不应因为下游短暂不可用而失败,否则外部依赖抖动可能把健康实例反复重启。

用端点契约表达启动与就绪
生产推理进程最好暴露三个轻量端点,例如 /startupz、/readyz、/livez。其中 /startupz 只有在模型加载、引擎初始化与预热全部成功后才返回 HTTP 200;/readyz 还可以额外检查是否正在摘流、是否已超过允许的资源水位;/livez 只检查主进程、事件循环或内部看门狗是否仍能工作。
下面是一个完整 Deployment 示例。镜像 <REGISTRY>/llm-server:<TAG> 需要实现上述三个端点,并在 8000 端口提供服务;实际镜像地址按环境替换。
apiVersion: apps/v1
kind: Deployment
metadata:
name: llm-server
spec:
replicas: 2
selector:
matchLabels:
app: llm-server
template:
metadata:
labels:
app: llm-server
spec:
containers:
- name: server
image: <REGISTRY>/llm-server:<TAG>
ports:
- containerPort: 8000
startupProbe:
httpGet:
path: /startupz
port: 8000
periodSeconds: 10
timeoutSeconds: 2
failureThreshold: 90
readinessProbe:
httpGet:
path: /readyz
port: 8000
periodSeconds: 5
timeoutSeconds: 2
failureThreshold: 2
livenessProbe:
httpGet:
path: /livez
port: 8000
periodSeconds: 10
timeoutSeconds: 2
failureThreshold: 3这里的 startup 最大失败窗口约为 15 分钟,即 10 × 90 秒。它不是通用推荐值,而是示例预算;生产环境应根据模型大小、权重存储、GPU 初始化和最慢节点的实测分位数调整,并留出合理余量。
把预热放进就绪门槛
预热不是“随便发一次请求”。输入形状、上下文长度、batch 大小或解码路径不同,都可能触发不同的内存分配、图捕获或 Kernel 编译。最小可用策略是选择一组能代表生产主路径、又不会制造过大启动成本的请求,在服务内部完成后再翻转 ready 状态。
建议的状态推进顺序是:进程启动后先加载权重,再创建推理引擎和 KV cache,随后执行必要 Kernel 热身与一轮代表性推理;只有这些步骤全部成功,/startupz 与 /readyz 才返回 200。若预热失败,应保留明确错误并让 startup 最终失败,由 Kubernetes 重启,而不是先对外接流量再暴露首请求故障。
验证冷启动行为
部署后先观察 Pod 的 READY 列和事件。将清单保存为 llm-server.yaml,并替换镜像占位符后执行:
kubectl apply -f llm-server.yaml
kubectl get pod -l app=llm-server -w预期输出
deployment.apps/llm-server created
NAME READY STATUS RESTARTS AGE
llm-server-<ID> 0/1 Running 0 <TIME>
llm-server-<ID> 1/1 Running 0 <TIME>实际 Pod 名称和时间会不同。关键现象是容器可以处于 Running 但 READY 仍为 0/1,直到预热完成才变为 1/1;冷启动阶段不应因为 liveness 过早失败而增加 RESTARTS。
如果 Pod 长时间停留在 0/1,执行下面命令检查探针失败原因:
kubectl describe pod llm-server-<ID>预期输出
Events:
...
Warning Unhealthy <TIME> kubelet Startup probe failed: HTTP probe failed with statuscode: <STATUS><ID>、<TIME> 与 <STATUS> 为动态值。若 startup 持续失败,应回到服务日志判断卡在权重下载、显存分配、引擎初始化还是预热请求;若 startup 已成功但 readiness 失败,则重点检查 ready 条件本身,不要先放宽 liveness。
用探针预算匹配真实启动分布
探针参数应来自冷启动测量,而不是固定抄模板。startup 的总失败窗口至少覆盖“最慢可接受启动时间”;readiness 可以更敏感,因为失败只负责摘流;liveness 则应更保守,避免瞬时 GPU 抖动、短暂停顿或依赖故障触发重启风暴。
最终验收标准很明确:冷启动期间 Pod 不接生产流量且不会被误杀;模型和引擎完成预热后 readiness 才成功;运行期若实例暂时不适合接请求,它能先从 Service 摘除;只有进程真正失活时 liveness 才负责触发自愈。