CI/CD / 系统课时

执行部署健康检查

执行部署健康检查

部署命令返回成功,只能说明文件复制或服务重启没有立即报错,不能证明新版本已经可用。本课把进程、端口和健康接口串成发布门禁:任一检查失败都返回非零退出码,让流水线停止并保留现场。

学习目标

  • 区分进程存活、端口监听和应用就绪三层健康信号
  • 编写可直接供流水线调用的部署后健康检查脚本
  • 用重试窗口和非零退出码控制流水线成功或失败

建立三层健康门禁

检查顺序应从成本最低、最基础的条件开始:先确认 systemd 主进程存在,再确认目标端口已经监听,最后调用应用健康接口验证依赖和业务初始化。只检查其中一层都会留下盲区,例如进程存在但端口未绑定,或端口已监听但数据库连接尚未就绪。

部署后健康检查与流水线门禁

这种顺序也利于定位:第一层失败优先检查 systemd 与启动参数,第二层失败检查监听地址和端口冲突,第三层失败再检查应用依赖、初始化状态和健康接口逻辑。

编写健康检查脚本

下面脚本假定健康接口为 GET /health,成功响应包含 {"status":"UP"}。如果你的应用使用其他字段,应修改最后的内容匹配规则,而不是只要 HTTP 连接成功就判定发布成功。

bash
#!/usr/bin/env bash
set -euo pipefail

SERVICE="${1:-myapp.service}"
PORT="${2:-8080}"
HEALTH_URL="${3:-http://127.0.0.1:${PORT}/health}"

fail() {
  echo "FAIL: $*" >&2
  exit 1
}

# 第一层:systemd 必须处于 active,且主进程仍存在。
systemctl is-active --quiet "$SERVICE" || fail "$SERVICE is not active"
pid="$(systemctl show "$SERVICE" -p MainPID --value)"
[[ "$pid" =~ ^[1-9][0-9]*$ && -d "/proc/$pid" ]] ||
  fail "$SERVICE has no live main process"

# 第二层:目标 TCP 端口必须已经进入 LISTEN。
ss -ltn "sport = :${PORT}" | grep -q LISTEN ||
  fail "port $PORT is not listening"

# 第三层:健康接口必须返回 2xx,响应体也要满足就绪语义。
tmp="$(mktemp)"
trap 'rm -f "$tmp"' EXIT
http_code="$(curl --silent --show-error --max-time 5 --output "$tmp" --write-out "%{http_code}" "$HEALTH_URL")" ||
  fail "health endpoint request failed"
[[ "$http_code" =~ ^2[0-9][0-9]$ ]] ||
  fail "health endpoint returned HTTP $http_code"
grep -Eq '"status"[[:space:]]*:[[:space:]]*"UP"' "$tmp" ||
  fail "health endpoint is not UP"

echo "PASS: $SERVICE process, port $PORT and health endpoint are ready"

预期结果(默认参数且三层检查均通过):

text
PASS: myapp.service process, port 8080 and health endpoint are ready

将脚本保存为 /opt/deploy/health-check.sh 并赋予执行权限后运行:

bash
# 首次安装时赋予执行权限,再按服务、端口、URL 调用。
chmod +x /opt/deploy/health-check.sh
/opt/deploy/health-check.sh myapp.service 8080 http://127.0.0.1:8080/health

预期输出:

text
PASS: myapp.service process, port 8080 and health endpoint are ready

任一检查失败时脚本都会以退出码 1 结束,CI/CD 系统应直接把该步骤标记为失败。端口、进程号和响应时间都是运行期数据,实际值可能不同。

给启动留出重试窗口

服务重启后常需要几秒完成 JVM 预热、连接池建立或缓存加载,因此一次立即检查容易产生误报。更稳妥的做法是在有限窗口内重试,成功即退出,超时后再失败,避免无上限等待。

bash
#!/usr/bin/env bash
set -euo pipefail

# 最多检查 12 次;任意一次通过就立即放行部署。
for attempt in {1..12}; do
  if /opt/deploy/health-check.sh myapp.service 8080 http://127.0.0.1:8080/health; then
    echo "DEPLOY_OK"
    exit 0
  fi

  echo "health check attempt ${attempt}/12 failed"
  sleep 5
done

# 超过启动窗口仍不健康,必须把失败传回流水线。
echo "DEPLOY_FAILED" >&2
exit 1

预期结果(在重试窗口内恢复健康):

text
PASS: myapp.service process, port 8080 and health endpoint are ready
DEPLOY_OK

将这段脚本保存为 /opt/deploy/wait-until-healthy.sh 后执行:

bash
# 重试脚本本身也必须保持非零退出码语义。
chmod +x /opt/deploy/wait-until-healthy.sh
/opt/deploy/wait-until-healthy.sh

预期输出:

text
PASS: myapp.service process, port 8080 and health endpoint are ready
DEPLOY_OK

12 次检查之间的等待时间累计约为 60 秒;如果健康请求本身接近 5 秒超时,整体窗口还会更长。次数与间隔应覆盖应用正常启动时间,但不能无限扩大,否则真正的故障会被长时间掩盖。

让流水线只认退出码

流水线是否成功,应由健康检查脚本的最终退出码决定,而不是由人工阅读日志决定。部署阶段启用 shell 的失败即退出语义,重启后执行重试脚本;脚本返回非零,整个 job 就应立即停止。

bash
set -euo pipefail
# 健康门禁失败时,set -e 会阻止后续“发布成功”动作。
sudo systemctl restart myapp.service
/opt/deploy/wait-until-healthy.sh
echo "deployment accepted"

预期输出:

text
PASS: myapp.service process, port 8080 and health endpoint are ready
DEPLOY_OK
deployment accepted

如果健康检查最终失败,最后一行不会执行。此时保留旧制品、systemd 日志和当前版本标识,交给回滚或故障处理步骤;不要为了让流水线变绿而在命令后追加 || true,否则健康门禁会失去意义。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行部署健康检查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通