容器与云原生 / 技术文章
Kubernetes 滚动更新如何避免流量中断
Kubernetes Deployment 能逐步替换 Pod,却不会自动保证每个时刻都有足够且真正可服务的后端。面向需要设计无中断发布策略的后端工程师、SRE 与平台工程师,这篇文章把问题收敛为三个必须同时成立的条件:新 Pod 不能过早接流、旧 Pod 不能过早退出、整个交接窗口不能跌破业务所需容量,最终得到一套可以配置、观测和压测验证的流量连续性方案。
先把无中断发布定义成三个不变量
滚动更新期间,请求能否连续并不取决于 Pod 是否处于 Running,而取决于 Service 在每个时刻是否仍有足够的可服务 Endpoint。可以把发布安全条件拆成三个不变量:进入流量池的新 Pod 已完成真实业务初始化;退出流量池的旧 Pod 不再接收新请求且能完成在途请求;任意交接时刻的可服务容量都高于业务最低需求。
这三个条件分别对应新 Pod 的 readiness、Deployment 的容量参数,以及旧 Pod 的终止处理。只优化其中一个通常不够。例如 maxUnavailable: 0 可以限制控制器主动减少可用副本,却无法阻止一个 readiness 判断过于宽松的新 Pod 在应用尚未准备好时接收请求。
因此,设计顺序应该从请求路径出发,而不是先寻找一组通用 YAML 参数:先明确什么状态才允许接流,再算发布期间需要保留多少容量,最后定义旧实例退出前要完成哪些动作。
让 readiness 表达“现在可以接真实请求”
新 Pod 从容器启动到真正能处理生产请求,通常还要经历配置加载、缓存初始化、连接池建立、路由注册或运行时预热。readinessProbe 应判断这些动作是否已经达到接流条件,而不是只证明进程存在。
下面的配置把启动保护与接流判断分开,并要求 Pod 持续 Ready 一段时间后才作为稳定可用副本推进滚动更新:
apiVersion: apps/v1
kind: Deployment
metadata:
name: checkout-api
spec:
replicas: 6
minReadySeconds: 10
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 1
maxUnavailable: 0
template:
spec:
containers:
- name: checkout-api
image: registry.example.com/checkout-api:v2
ports:
- containerPort: 8080
startupProbe:
httpGet:
path: /health/startup
port: 8080
periodSeconds: 2
failureThreshold: 30
readinessProbe:
httpGet:
path: /health/ready
port: 8080
periodSeconds: 2
failureThreshold: 2
livenessProbe:
httpGet:
path: /health/live
port: 8080
periodSeconds: 10
failureThreshold: 3这里最重要的不是具体秒数,而是职责边界:startupProbe 给慢启动阶段足够时间;readinessProbe 决定实例是否进入 Service 的可服务后端集合;livenessProbe 只处理进程已经无法自行恢复的状态。不要让 livenessProbe 因共享数据库或外部 API 的短暂异常批量重启 Pod,否则一次依赖抖动可能被放大成容量下降。
用容量预算约束新旧 Pod 的交接
maxSurge 决定发布时最多允许额外创建多少 Pod,maxUnavailable 决定最多允许多少期望副本暂时不可用。对于希望优先保护请求连续性的服务,常见起点是 maxUnavailable: 0,先创建并验证新 Pod,再缩减旧 Pod。
但 maxUnavailable: 0 不等于绝对零中断。若集群没有资源容纳 surge Pod,新 Pod 会停在 Pending,更新无法推进;若某个 Ready Pod 实际处理能力只有正常值的一部分,副本数量满足约束也可能发生过载。因此容量预算应该建立在业务吞吐上,而不是只数 Pod。
例如正常运行 6 个副本、单副本安全处理能力为 、发布时峰值负载为 ,至少要保证滚动期间稳定可服务副本数 满足 ,并额外留出故障和负载波动余量。如果 5 个副本已经接近峰值极限,那么即使 Kubernetes 允许暂时少一个副本,这个策略对业务也并不安全。
发布前还应确认节点 CPU、内存、Pod 配额、亲和性、污点容忍和拓扑约束能够实际调度额外副本,否则 maxSurge 只是配置上的容量,并不是集群真正具备的容量。
旧 Pod 要先摘流,再完成在途请求
旧 Pod 被终止时,控制面更新 Endpoint 状态与节点上的容器终止流程并不是一个完全同步的原子动作。应用如果收到 SIGTERM 后立即退出,仍在传播中的请求或已经建立的连接可能直接失败。
应用侧至少应在 SIGTERM 后停止接受新工作,继续处理已经接收的请求,并在合理期限内释放连接和其他资源。对于存在负载均衡传播延迟、长请求或长连接的系统,还需要为摘流和排空预留时间。
spec:
template:
spec:
terminationGracePeriodSeconds: 45
containers:
- name: checkout-api
lifecycle:
preStop:
exec:
command:
- /bin/sh
- -c
- sleep 5preStop 中的等待不能被理解为固定的“零中断魔法值”。它消耗的是同一个终止宽限期,真正需要覆盖的是 Endpoint 或外部负载均衡摘流传播时间、应用处理在途请求的时间以及必要的清理余量。若应用本身不能正确响应 SIGTERM,再长的等待也只是推迟异常退出。
HTTP 服务还应确认 keep-alive、HTTP/2、WebSocket 和流式请求的关闭语义;Worker 类型 Pod 则要在终止后停止领取新任务,并明确已领取任务是完成、重新入队还是交给租约超时机制恢复。
把发布验证放到持续真实请求上
只观察 kubectl rollout status 能证明 Deployment 是否完成收敛,不能证明发布期间没有请求中断。无中断发布必须在持续流量下验证,因为很多问题只存在于新旧 Pod 交接的几秒钟窗口。
可以在测试环境持续请求业务健康接口,同时触发一次镜像更新:
while true; do
curl -fsS -o /dev/null -w '%{http_code} %{time_total}\n' https://service.example.com/health/business || echo 'REQUEST_FAILED'
sleep 0.2
done另一个终端执行并观察滚动更新:
kubectl set image deployment/checkout-api checkout-api=registry.example.com/checkout-api:v2
kubectl rollout status deployment/checkout-api
kubectl get pods -l app=checkout-api -w预期结果不是单纯看到 successfully rolled out,而是更新全过程没有 REQUEST_FAILED,业务请求错误率不出现异常尖峰,延迟没有超过既定发布门槛,并且新 Pod 只有在 Ready 后才承接流量,旧 Pod 进入终止阶段后能够完成排空。
生产环境还应同时观察可用 Endpoint 数、5xx 比例、超时率、P95/P99 延迟、Pod Ready 状态与重启次数。只要业务指标已经恶化,即使 Deployment 状态仍在正常推进,也应该把它视为发布异常,而不是等待控制器自行结束。
用交接链路判断配置是否真的安全
判断一个滚动更新策略是否能保护流量连续性,可以沿着请求交接链逐项检查:新 Pod 是否只有在真正具备服务能力后才 Ready;Ready 状态是否足够稳定才允许继续缩减旧副本;集群是否容得下 surge 容量;发布期间最低可服务能力是否覆盖峰值负载;旧 Pod 是否能先停止接收新请求再处理在途工作;终止宽限期是否覆盖摘流传播、请求排空和资源清理;最后,这些假设是否已经用持续业务流量而不是只看 Pod 状态验证过。
真正可靠的零中断滚动更新不是某个参数组合,而是一段闭合的交接协议:新实例证明自己能够服务后才进入流量池,旧实例确认不再承接新流量后才退出,Deployment 在两者之间始终保留足够容量,并用业务错误率和延迟验证整个过程。只要其中任意环节缺失,滚动更新即使最终显示成功,也仍可能在用户侧留下短暂而真实的请求中断。