容器与云原生 / 系统课时
生产上线检查清单
生产上线检查清单
本课把上线前检查整理成可执行的六域门禁:可用性、安全、资源、监控、备份和发布流程。完成后,你应能用命令、证据和明确的阻断条件做出 Go/No-Go 结论,而不是依赖口头确认或临时经验。
学习目标
- 为六类上线风险定义可验证的通过条件。
- 执行工作负载、端点、指标和权限等机械化预检。
- 汇总备份、告警与回退证据并形成 Go/No-Go 结论。
建立六域上线门禁
上线检查不是“看起来正常”,而是每个风险域都有负责人、证据和阻断条件。机械检查适合自动化,恢复演练、告警送达和安全例外仍需人工确认。任一硬门禁不通过,都应记录原因并停止发布。

| 检查域 | 最低通过条件 | 必留证据 |
|---|---|---|
| 可用性 | 目标副本 Ready,Service 有端点,PDB 与探针合理 | 状态快照、冒烟结果 |
| 安全 | 镜像来源可信,最小权限,敏感配置不明文暴露 | 扫描报告、权限审查 |
| 资源 | requests/limits 合理,节点有容量余量 | 指标与容量评估 |
| 监控 | 核心指标可查询,告警能送达值班人员 | 告警测试记录 |
| 备份 | 最近备份成功,恢复流程已验证 | 备份 ID、恢复记录 |
| 发布 | 变更单、镜像摘要、回退版本和观察窗口齐全 | 发布记录、回退命令 |
执行工作负载预检
下面的脚本检查 Deployment 可用副本、Pod Ready 状态、Service 端点和资源指标 API。它适合放进发布流水线作为第一道机械门禁,但不能替代安全审查、备份恢复和告警送达测试。
#!/usr/bin/env bash
set -euo pipefail
NAMESPACE="${1:-prod}"
DEPLOYMENT="${2:-shop-api}"
SERVICE="${3:-shop-api}"
LABEL_SELECTOR="${4:-app=$DEPLOYMENT}"
# 可用副本必须等于期望副本,否则立即阻断发布。
desired=$(kubectl -n "$NAMESPACE" get deployment "$DEPLOYMENT" \
-o jsonpath='{.spec.replicas}')
available=$(kubectl -n "$NAMESPACE" get deployment "$DEPLOYMENT" \
-o jsonpath='{.status.availableReplicas}')
if [[ "$available" != "$desired" ]]; then
echo "FAIL availability: ${available:-0}/$desired"
exit 1
fi
echo "PASS availability: $available/$desired"
# Ready 列的分子和分母必须相等,避免遗漏部分就绪的 Pod。
not_ready=$(kubectl -n "$NAMESPACE" get pods \
-l "$LABEL_SELECTOR" --no-headers | \
awk '{split($2,a,"/"); if (a[1] != a[2]) c++} END {print c+0}')
if [[ "$not_ready" != "0" ]]; then
echo "FAIL not-ready pods: $not_ready"
exit 1
fi
echo "PASS ready pods"
# Service 至少需要一个端点,随后再确认指标 API 可访问。
endpoints=$(kubectl -n "$NAMESPACE" get endpointslice \
-l "kubernetes.io/service-name=$SERVICE" \
-o jsonpath='{range .items[*].endpoints[*]}{range .addresses[*]}{.}{"\n"}{end}{end}' | \
sed '/^$/d' | wc -l | tr -d ' ')
if [[ "$endpoints" == "0" ]]; then
echo "FAIL service endpoints: 0"
exit 1
fi
echo "PASS service endpoints: $endpoints"
kubectl get --raw="/apis/metrics.k8s.io/v1beta1" >/dev/null
echo "PASS metrics API"运行命令
bash preflight.sh prod shop-api shop-api预期输出
PASS availability: <REPLICAS>/<REPLICAS>
PASS ready pods
PASS service endpoints: <COUNT>
PASS metrics API<REPLICAS> 和 <COUNT> 取决于实际部署。若脚本失败,应保留输出并停止流水线;不要把失败命令改成忽略错误,否则门禁会失去意义。
完成证据核对与 Go/No-Go 结论
核对安全、监控与备份证据
安全检查应确认工作负载使用非特权配置、镜像以摘要或受控标签发布、Secret 不进入普通配置文件,并验证发布身份只拥有必要权限。下面的命令检查一个关键权限示例,真实环境还应结合策略引擎和镜像扫描结果。
NAMESPACE="prod"
SERVICE_ACCOUNT="shop-api"
# 应用通常通过挂载获得 Secret,不需要调用 API 读取全部 Secret。
kubectl auth can-i get secrets \
--as="system:serviceaccount:${NAMESPACE}:${SERVICE_ACCOUNT}" \
-n "$NAMESPACE"预期输出
no若应用确实需要读取特定 Secret,应通过精确到资源名称的 Role 和 RoleBinding 授权,而不是授予命名空间内全部 Secret 的读取权限。yes 不一定等于漏洞,但必须有可审计的业务理由。
监控门禁至少要证明指标可查询、关键告警能触发、通知能到达值班渠道,并且仪表盘覆盖错误率、延迟、流量和饱和度。备份门禁则要记录最近成功备份的 <ID>、时间 <TIME>、保存位置和最近一次恢复演练结果;只有“备份任务成功”但没有恢复验证,不能视为通过。
形成 Go/No-Go 结论
最终评审只接受可验证结论。以下情况应直接判定 No-Go:目标副本未就绪、Service 无端点、存在未处理的高危安全问题、核心告警无法送达、没有可用备份或未准备回退版本。一般性告警和已批准例外可以进入观察清单,但必须写明负责人和截止时间。
Go 之后仍需设置观察窗口,持续检查错误率、延迟、资源饱和度和业务关键指标。若指标越过回退阈值,应按预先记录的命令执行回退,并再次运行预检脚本,确认恢复后的版本满足同一套门禁。