Linux 与服务器运维 / 系统课时

给短暂故障加入有限重试

给短暂故障加入有限重试

自动化任务遇到网络抖动、服务短暂过载或临时限流时,立即失败可能过于激进,但无限重试又会持续占用资源并放大故障。本节实现一个有次数上限、固定间隔且只针对临时错误重试的 Bash 模板。

学习目标

  • 为 Shell 命令设置明确的最大重试次数和重试间隔
  • 根据退出码区分可重试故障与永久故障
  • 在最终失败时保留正确退出状态供调度系统识别

重试必须同时限制次数和条件

安全重试至少需要三个参数:最大尝试次数、两次尝试之间的间隔,以及哪些错误允许再次执行。缺少次数上限会形成无限循环;对所有错误都重试,则可能把参数错误、权限错误等永久故障拖成持续故障。

重试还要求操作具备可重复执行能力。查询接口通常风险较低,而部署、扣款、删除、创建资源等有副作用操作,应先确认幂等性或提供幂等键,否则一次超时可能让客户端误以为失败,实际服务端已经完成操作。

用退出码控制有限重试

下面的完整脚本约定退出码 75 表示临时故障,其他非零退出码直接失败。示例任务前两次模拟临时错误,第三次成功,因此结果可以稳定复现。

bash
#!/usr/bin/env bash

retry() {
  local max_attempts="$1"
  local delay_seconds="$2"
  shift 2

  local attempt rc
  for ((attempt = 1; attempt <= max_attempts; attempt++)); do
    echo "attempt ${attempt}/${max_attempts}"

    "$@"
    rc=$?

    if (( rc == 0 )); then
      return 0
    fi

    # 只有约定的临时故障才允许重试。
    if (( rc != 75 )); then
      echo "not retryable: rc=${rc}"
      return "$rc"
    fi

    if (( attempt == max_attempts )); then
      echo "retry limit reached: rc=${rc}"
      return "$rc"
    fi

    echo "retrying in ${delay_seconds}s"
    sleep "$delay_seconds"
  done
}

ATTEMPT=0
unstable_task() {
  ((ATTEMPT++))
  if (( ATTEMPT < 3 )); then
    echo "temporary failure"
    return 75
  fi

  echo "task succeeded"
  return 0
}

retry 3 1 unstable_task

预期输出如下。这里的间隔固定为 1 秒,实际生产任务通常会根据下游承载能力适当拉长。

text
attempt 1/3
temporary failure
retrying in 1s
attempt 2/3
temporary failure
retrying in 1s
attempt 3/3
task succeeded

函数最终返回最后一次命令的状态,因此可以直接交给 Cron、systemd、CI/CD 或其他调度系统判断成功与失败。

判断哪些故障值得重试

适合重试的通常是有机会自行恢复的瞬时问题,例如连接超时、临时 DNS 异常、服务返回明确的限流响应,或者 HTTP 502、503、504 等暂时不可用状态。真正接入 curl 时,应把 HTTP 状态码映射成脚本能够判断的退出状态,再进入重试逻辑。

参数非法、认证失败、文件不存在、权限不足、配置格式错误等问题不会因为等待几秒自动恢复,应立即失败。否则最大重试次数只是延迟暴露真正的问题。

控制重试带来的额外压力

固定间隔适合单机、低并发任务;如果大量实例会同时失败并重试,更适合指数退避并加入随机抖动,避免所有实例在相同时间再次冲击下游。无论采用哪种算法,都仍然需要总次数或总时长上限。

对于部署、清理、数据同步这类任务,还应记录每次尝试的次数和最终退出码。这样发生故障时,可以区分“第一次失败后自动恢复”和“连续失败达到上限”,而不是只看到一个最终失败结果。

有限重试的核心不是“尽量执行成功”,而是只给短暂故障有限的恢复机会;达到边界后及时失败,才能让监控、告警和人工处置继续接管。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

给短暂故障加入有限重试

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通