容器与云原生 / 系统课时

生产上线检查清单

生产上线检查清单

本课把上线前检查整理成可执行的六域门禁:可用性、安全、资源、监控、备份和发布流程。完成后,你应能用命令、证据和明确的阻断条件做出 Go/No-Go 结论,而不是依赖口头确认或临时经验。

学习目标

  • 为六类上线风险定义可验证的通过条件。
  • 执行工作负载、端点、指标和权限等机械化预检。
  • 汇总备份、告警与回退证据并形成 Go/No-Go 结论。

建立六域上线门禁

上线检查不是“看起来正常”,而是每个风险域都有负责人、证据和阻断条件。机械检查适合自动化,恢复演练、告警送达和安全例外仍需人工确认。任一硬门禁不通过,都应记录原因并停止发布。

Kubernetes 生产上线六域门禁

检查域 最低通过条件 必留证据
可用性 目标副本 Ready,Service 有端点,PDB 与探针合理 状态快照、冒烟结果
安全 镜像来源可信,最小权限,敏感配置不明文暴露 扫描报告、权限审查
资源 requests/limits 合理,节点有容量余量 指标与容量评估
监控 核心指标可查询,告警能送达值班人员 告警测试记录
备份 最近备份成功,恢复流程已验证 备份 ID、恢复记录
发布 变更单、镜像摘要、回退版本和观察窗口齐全 发布记录、回退命令

执行工作负载预检

下面的脚本检查 Deployment 可用副本、Pod Ready 状态、Service 端点和资源指标 API。它适合放进发布流水线作为第一道机械门禁,但不能替代安全审查、备份恢复和告警送达测试。

bash
#!/usr/bin/env bash
set -euo pipefail

NAMESPACE="${1:-prod}"
DEPLOYMENT="${2:-shop-api}"
SERVICE="${3:-shop-api}"
LABEL_SELECTOR="${4:-app=$DEPLOYMENT}"

# 可用副本必须等于期望副本,否则立即阻断发布。
desired=$(kubectl -n "$NAMESPACE" get deployment "$DEPLOYMENT" \
  -o jsonpath='{.spec.replicas}')
available=$(kubectl -n "$NAMESPACE" get deployment "$DEPLOYMENT" \
  -o jsonpath='{.status.availableReplicas}')
if [[ "$available" != "$desired" ]]; then
  echo "FAIL availability: ${available:-0}/$desired"
  exit 1
fi
echo "PASS availability: $available/$desired"

# Ready 列的分子和分母必须相等,避免遗漏部分就绪的 Pod。
not_ready=$(kubectl -n "$NAMESPACE" get pods \
  -l "$LABEL_SELECTOR" --no-headers | \
  awk '{split($2,a,"/"); if (a[1] != a[2]) c++} END {print c+0}')
if [[ "$not_ready" != "0" ]]; then
  echo "FAIL not-ready pods: $not_ready"
  exit 1
fi
echo "PASS ready pods"

# Service 至少需要一个端点,随后再确认指标 API 可访问。
endpoints=$(kubectl -n "$NAMESPACE" get endpointslice \
  -l "kubernetes.io/service-name=$SERVICE" \
  -o jsonpath='{range .items[*].endpoints[*]}{range .addresses[*]}{.}{"\n"}{end}{end}' | \
  sed '/^$/d' | wc -l | tr -d ' ')
if [[ "$endpoints" == "0" ]]; then
  echo "FAIL service endpoints: 0"
  exit 1
fi
echo "PASS service endpoints: $endpoints"

kubectl get --raw="/apis/metrics.k8s.io/v1beta1" >/dev/null
echo "PASS metrics API"

运行命令

bash
bash preflight.sh prod shop-api shop-api

预期输出

text
PASS availability: <REPLICAS>/<REPLICAS>
PASS ready pods
PASS service endpoints: <COUNT>
PASS metrics API

<REPLICAS> 和 <COUNT> 取决于实际部署。若脚本失败,应保留输出并停止流水线;不要把失败命令改成忽略错误,否则门禁会失去意义。

完成证据核对与 Go/No-Go 结论

核对安全、监控与备份证据

安全检查应确认工作负载使用非特权配置、镜像以摘要或受控标签发布、Secret 不进入普通配置文件,并验证发布身份只拥有必要权限。下面的命令检查一个关键权限示例,真实环境还应结合策略引擎和镜像扫描结果。

bash
NAMESPACE="prod"
SERVICE_ACCOUNT="shop-api"

# 应用通常通过挂载获得 Secret,不需要调用 API 读取全部 Secret。
kubectl auth can-i get secrets \
  --as="system:serviceaccount:${NAMESPACE}:${SERVICE_ACCOUNT}" \
  -n "$NAMESPACE"

预期输出

text
no

若应用确实需要读取特定 Secret,应通过精确到资源名称的 Role 和 RoleBinding 授权,而不是授予命名空间内全部 Secret 的读取权限。yes 不一定等于漏洞,但必须有可审计的业务理由。

监控门禁至少要证明指标可查询、关键告警能触发、通知能到达值班渠道,并且仪表盘覆盖错误率、延迟、流量和饱和度。备份门禁则要记录最近成功备份的 <ID>、时间 <TIME>、保存位置和最近一次恢复演练结果;只有“备份任务成功”但没有恢复验证,不能视为通过。

形成 Go/No-Go 结论

最终评审只接受可验证结论。以下情况应直接判定 No-Go:目标副本未就绪、Service 无端点、存在未处理的高危安全问题、核心告警无法送达、没有可用备份或未准备回退版本。一般性告警和已批准例外可以进入观察清单,但必须写明负责人和截止时间。

Go 之后仍需设置观察窗口,持续检查错误率、延迟、资源饱和度和业务关键指标。若指标越过回退阈值,应按预先记录的命令执行回退,并再次运行预检脚本,确认恢复后的版本满足同一套门禁。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

生产上线检查清单

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通