Linux 与服务器运维 / 系统课时
按健康检查触发自愈动作
按健康检查触发自愈动作
“检查失败就重启服务”很容易写,但直接这么做会把瞬时抖动放大成重启风暴,也可能掩盖真正的依赖故障。本课把健康检查、冷却时间、服务重启和二次验证串成闭环:只有满足条件时才执行自愈,重启后还必须再次确认服务是否恢复。
学习目标
- 把健康检查结果转换成明确的自愈触发条件
- 使用冷却时间限制重复重启频率
- 在重启后执行二次验证,并用退出码区分恢复成功与恢复失败
先把自愈闭环拆清楚
一次安全的自愈至少包含四个阶段:先检查服务是否健康;失败后判断最近是否已经执行过自愈;只有冷却期结束才允许重启;最后再次检查,确认动作是否真的有效。二次验证失败时不能继续反复重启,而应把故障交给告警或人工处置。

实现带冷却时间的自愈脚本
下面示例以 nginx 和本机健康检查地址为例。可通过环境变量覆盖服务名、URL 和冷却秒数。脚本需要有执行 systemctl restart 的权限,并要求系统已经安装 curl。
#!/usr/bin/env bash
set -u
SERVICE=${SERVICE:-nginx}
HEALTH_URL=${HEALTH_URL:-http://127.0.0.1/}
COOLDOWN_SECONDS=${COOLDOWN_SECONDS:-300}
STATE_FILE=${STATE_FILE:-/tmp/${SERVICE}-self-heal.last}
health_check() {
curl --silent --show-error --fail --max-time 3 "$HEALTH_URL" >/dev/null
}
if health_check; then
echo "[CHECK] healthy"
exit 0
fi
echo "[CHECK] unhealthy"
now=$(date +%s)
last_restart=0
if [[ -f "$STATE_FILE" ]]; then
read -r last_restart < "$STATE_FILE"
fi
elapsed=$((now - last_restart))
if (( elapsed < COOLDOWN_SECONDS )); then
remaining=$((COOLDOWN_SECONDS - elapsed))
echo "[SKIP] cooldown active: ${remaining}s remaining"
exit 2
fi
echo "[ACTION] restarting ${SERVICE}"
if ! systemctl restart "$SERVICE"; then
echo "[RESULT] restart command failed"
exit 3
fi
# 先记录动作时间,再等待服务启动,避免验证失败时被立即重复触发。
printf '%s\n' "$now" > "$STATE_FILE"
sleep 2
if health_check; then
echo "[VERIFY] healthy"
echo "[RESULT] self-heal succeeded"
exit 0
fi
echo "[VERIFY] unhealthy"
echo "[RESULT] self-heal failed"
exit 4保存为 self-heal.sh 后,可以在具备服务管理权限的 Linux 主机上执行:
chmod +x self-heal.sh
sudo SERVICE=nginx HEALTH_URL=http://127.0.0.1/ ./self-heal.sh当首次检查失败、重启后恢复正常时,预期输出为:
[CHECK] unhealthy
[ACTION] restarting nginx
[VERIFY] healthy
[RESULT] self-heal succeeded如果健康检查一开始就通过,只会输出 [CHECK] healthy;如果刚执行过一次重启,则返回退出码 2 并显示动态的剩余冷却秒数。
用退出码区分不同结果
脚本把状态分成四类:0 表示当前健康或自愈成功,2 表示本次因冷却期跳过,3 表示重启命令本身失败,4 表示重启执行成功但二次检查仍失败。这样上层监控可以只对真正需要人工介入的结果升级告警,而不必解析整段日志。
./self-heal.sh
code=$?
case "$code" in
0) echo "no escalation needed" ;;
2) echo "wait for cooldown" ;;
*) echo "escalate to operator" ;;
esac预期输出
no escalation needed实际输出取决于前一个脚本的真实返回码;当重启命令失败或二次验证仍不健康时,会进入 escalate to operator 分支。
验证冷却和二次检查
验证时至少覆盖健康、冷却中和重启后仍失败三条路径。可以先把健康地址改成一个确定不可达的本机端口,并缩短冷却时间进行测试;首次执行允许进入重启逻辑后,立即再次执行应被冷却机制拦截。
sudo HEALTH_URL=http://127.0.0.1:1/ COOLDOWN_SECONDS=60 ./self-heal.sh
sudo HEALTH_URL=http://127.0.0.1:1/ COOLDOWN_SECONDS=60 ./self-heal.sh第二次执行处于冷却期时,预期结果形态为:
[CHECK] unhealthy
[SKIP] cooldown active: <SECONDS>s remaining<SECONDS> 会随两次执行之间的间隔变化。测试完成后应恢复正确的健康检查 URL,并确认正常服务返回退出码 0。
可靠的自愈脚本应当少做但做对:触发条件明确、动作有节流、结果要复验、失败能升级。满足这四点后,重启才是故障处置闭环的一部分,而不是掩盖根因的快捷键。