可观测性与稳定性 / 系统课时

处理滚动发布与短生命周期工作负载

处理滚动发布与短生命周期工作负载

这节课处理 Kubernetes 生命周期边界最容易丢掉的遥测尾部:滚动升级会终止旧 Pod,Job 可能很快结束,弹性缩容也会撤掉实例。目标是让业务先停止接流量、再触发 SDK 冲刷,并让 Collector 在自身退出前尽量排空队列。

学习目标

  • 找出滚动发布、Job 与缩容时尾数据丢失的窗口
  • 为应用和 Collector 设计可执行的优雅终止顺序
  • 用稳定的服务属性和唯一实例身份避免新旧 Pod 混淆

找到真正的丢失窗口

尾数据通常不是“网络突然丢包”,而是仍停留在内存中。应用 SDK 的 Batch Span Processor 可能还有未发送 Span;短 Job 可能在下一次周期导出前就退出;Gateway 也可能在发送队列或 tail sampling 决策窗口里保存尚未处理完的数据。

滚动发布时,新旧 Pod 会短暂并存。service.name 应保持稳定,service.version 用于区分版本,而 service.instance.id 必须区分同时存在的实例。如果把 Deployment 名称当作实例 ID,新旧 Pod 会被错误地看成同一个实例。

滚动发布与短生命周期工作负载的遥测排空时序

关键原则是把“停止接收新工作”和“进程立即退出”拆开,中间留出足够时间让正在执行的请求结束,并让遥测 SDK 的关闭逻辑完成最终导出。

给应用留下可用的退场时间

下面是需要并入实际 Deployment 的片段示例。preStop 先留出 5 秒让负载均衡与上游停止继续送流量,随后 Kubernetes 再向容器发送终止信号;总的 terminationGracePeriodSeconds 必须覆盖业务排空和遥测冲刷时间。

yaml
spec:
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 0
      maxSurge: 1
  template:
    spec:
      terminationGracePeriodSeconds: 45
      containers:
        - name: app
          lifecycle:
            preStop:
              exec:
                command: ["/bin/sh", "-c", "sleep 5"]
          env:
            - name: POD_UID
              valueFrom:
                fieldRef:
                  fieldPath: metadata.uid
            - name: OTEL_SERVICE_NAME
              value: checkout
            - name: OTEL_RESOURCE_ATTRIBUTES
              value: "service.namespace=shop,service.version=2.4.0,service.instance.id=$(POD_UID)"
            - name: OTEL_BSP_SCHEDULE_DELAY
              value: "1000"

这里假设一个 Pod 内只有一个需要标识的服务进程,因此 Pod UID 可以作为该服务实例的唯一身份。如果一个容器里运行多个独立服务进程,应由应用为每个实例生成独立的 service.instance.id,不要让 Collector 猜测。

把 OTEL_BSP_SCHEDULE_DELAY 调短可以减少 Span 在内存中等待周期导出的时间,但它不能替代显式关闭;不同语言对环境变量和关闭 API 的支持程度也要按所用 SDK 验证。

让 Job 在成功退出前主动冲刷

Job、CronJob、迁移脚本和一次性批处理最容易暴露这个问题,因为业务逻辑完成后进程通常马上返回。正确顺序是:创建并复用 Provider,执行任务,停止产生新遥测,等待 Span、Metric 和 Log 的最终导出,再返回成功退出码。

不要把“任务执行成功”当成“遥测已经发送成功”。对于只有几百毫秒到几秒的任务,即使把批处理周期调短,也可能在第一次定时导出前结束,因此显式 shutdown 比调整定时器更可靠。

如果 Job 会被主动删除或超过 activeDeadlineSeconds,还要确保剩余终止宽限期足够执行关闭逻辑。若平台最终发送强制终止信号,任何仍停留在应用内存中的遥测都无法再由 Collector 补救。

保护 Collector 自己的发送队列

Collector 正常收到终止信号时会进入关闭流程,但只靠内存发送队列仍无法覆盖进程崩溃或 Pod 被重新创建的情况。对不能接受这类丢失的 Gateway,可以把发送队列接到 file_storage,前提是该目录真正位于能跨重启保留的数据卷上。

yaml
extensions:
  file_storage:
    directory: /var/lib/otelcol/storage

receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317

exporters:
  otlp/backend:
    endpoint: backend.example.com:4317
    tls:
      insecure: false
    sending_queue:
      enabled: true
      storage: file_storage
      queue_size: 5000
    retry_on_failure:
      enabled: true
      max_elapsed_time: 10m

service:
  extensions: [file_storage]
  pipelines:
    traces:
      receivers: [otlp]
      exporters: [otlp/backend]

把配置保存为 <PATH>/gateway.yaml 后可以先验证组件与字段是否被当前发行版识别:

bash
otelcol-contrib validate --config=<PATH>/gateway.yaml >/dev/null && echo "persistent queue config valid"

预期输出:

text
persistent queue config valid

配置通过并不等于数据已经持久化:/var/lib/otelcol/storage 还必须挂载到合适的数据卷。emptyDir 不能跨 Pod 重建保存数据;多副本 Gateway 也不要让多个 Collector 进程共享同一个可写的 file_storage 目录。需要每副本稳定磁盘时,通常应使用具备稳定身份和独立卷的部署方式,或者改用外部消息队列。

验证发布与实例身份

完成生命周期配置后,实际触发一次滚动发布,确认 Deployment 能在宽限期内完成,并观察新 Pod 获得新的 UID:

bash
kubectl -n app rollout restart deployment/checkout >/dev/null && echo "restart requested"
kubectl -n app rollout status deployment/checkout --timeout=180s >/dev/null && echo "rollout complete"
kubectl -n app get pods -l app=checkout -o custom-columns=NAME:.metadata.name,UID:.metadata.uid --no-headers

预期输出:

text
restart requested
rollout complete
<NAME> <ID>
<NAME> <ID>
<NAME> <ID>

Pod 名称和 UID 的实际值会不同。再到遥测后端检查同一服务的资源属性:service.name 应持续为 checkout,service.version 应对应实际版本,新旧 Pod 的 service.instance.id 不应相同。若发布期间仍出现最后几秒 Trace 缺口,就按“应用是否收到 SIGTERM并完成 shutdown → Collector 队列是否堆满 → Gateway 是否在同一时间被替换 → 后端是否拒绝或超时”的顺序定位,而不是先盲目增加重试次数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理滚动发布与短生命周期工作负载

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通