Linux 与服务器运维 / 系统课时

按健康检查触发自愈动作

按健康检查触发自愈动作

“检查失败就重启服务”很容易写,但直接这么做会把瞬时抖动放大成重启风暴,也可能掩盖真正的依赖故障。本课把健康检查、冷却时间、服务重启和二次验证串成闭环:只有满足条件时才执行自愈,重启后还必须再次确认服务是否恢复。

学习目标

  • 把健康检查结果转换成明确的自愈触发条件
  • 使用冷却时间限制重复重启频率
  • 在重启后执行二次验证,并用退出码区分恢复成功与恢复失败

先把自愈闭环拆清楚

一次安全的自愈至少包含四个阶段:先检查服务是否健康;失败后判断最近是否已经执行过自愈;只有冷却期结束才允许重启;最后再次检查,确认动作是否真的有效。二次验证失败时不能继续反复重启,而应把故障交给告警或人工处置。

健康检查触发自愈的闭环流程

实现带冷却时间的自愈脚本

下面示例以 nginx 和本机健康检查地址为例。可通过环境变量覆盖服务名、URL 和冷却秒数。脚本需要有执行 systemctl restart 的权限,并要求系统已经安装 curl。

bash
#!/usr/bin/env bash
set -u

SERVICE=${SERVICE:-nginx}
HEALTH_URL=${HEALTH_URL:-http://127.0.0.1/}
COOLDOWN_SECONDS=${COOLDOWN_SECONDS:-300}
STATE_FILE=${STATE_FILE:-/tmp/${SERVICE}-self-heal.last}

health_check() {
  curl --silent --show-error --fail --max-time 3 "$HEALTH_URL" >/dev/null
}

if health_check; then
  echo "[CHECK] healthy"
  exit 0
fi

echo "[CHECK] unhealthy"
now=$(date +%s)
last_restart=0

if [[ -f "$STATE_FILE" ]]; then
  read -r last_restart < "$STATE_FILE"
fi

elapsed=$((now - last_restart))
if (( elapsed < COOLDOWN_SECONDS )); then
  remaining=$((COOLDOWN_SECONDS - elapsed))
  echo "[SKIP] cooldown active: ${remaining}s remaining"
  exit 2
fi

echo "[ACTION] restarting ${SERVICE}"
if ! systemctl restart "$SERVICE"; then
  echo "[RESULT] restart command failed"
  exit 3
fi

# 先记录动作时间,再等待服务启动,避免验证失败时被立即重复触发。
printf '%s\n' "$now" > "$STATE_FILE"
sleep 2

if health_check; then
  echo "[VERIFY] healthy"
  echo "[RESULT] self-heal succeeded"
  exit 0
fi

echo "[VERIFY] unhealthy"
echo "[RESULT] self-heal failed"
exit 4

保存为 self-heal.sh 后,可以在具备服务管理权限的 Linux 主机上执行:

bash
chmod +x self-heal.sh
sudo SERVICE=nginx HEALTH_URL=http://127.0.0.1/ ./self-heal.sh

当首次检查失败、重启后恢复正常时,预期输出为:

text
[CHECK] unhealthy
[ACTION] restarting nginx
[VERIFY] healthy
[RESULT] self-heal succeeded

如果健康检查一开始就通过,只会输出 [CHECK] healthy;如果刚执行过一次重启,则返回退出码 2 并显示动态的剩余冷却秒数。

用退出码区分不同结果

脚本把状态分成四类:0 表示当前健康或自愈成功,2 表示本次因冷却期跳过,3 表示重启命令本身失败,4 表示重启执行成功但二次检查仍失败。这样上层监控可以只对真正需要人工介入的结果升级告警,而不必解析整段日志。

bash
./self-heal.sh
code=$?

case "$code" in
  0) echo "no escalation needed" ;;
  2) echo "wait for cooldown" ;;
  *) echo "escalate to operator" ;;
esac

预期输出

text
no escalation needed

实际输出取决于前一个脚本的真实返回码;当重启命令失败或二次验证仍不健康时,会进入 escalate to operator 分支。

验证冷却和二次检查

验证时至少覆盖健康、冷却中和重启后仍失败三条路径。可以先把健康地址改成一个确定不可达的本机端口,并缩短冷却时间进行测试;首次执行允许进入重启逻辑后,立即再次执行应被冷却机制拦截。

bash
sudo HEALTH_URL=http://127.0.0.1:1/ COOLDOWN_SECONDS=60 ./self-heal.sh
sudo HEALTH_URL=http://127.0.0.1:1/ COOLDOWN_SECONDS=60 ./self-heal.sh

第二次执行处于冷却期时,预期结果形态为:

text
[CHECK] unhealthy
[SKIP] cooldown active: <SECONDS>s remaining

<SECONDS> 会随两次执行之间的间隔变化。测试完成后应恢复正确的健康检查 URL,并确认正常服务返回退出码 0。

可靠的自愈脚本应当少做但做对:触发条件明确、动作有节流、结果要复验、失败能升级。满足这四点后,重启才是故障处置闭环的一部分,而不是掩盖根因的快捷键。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

按健康检查触发自愈动作

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通