Linux 与服务器运维 / 系统课时
给短暂故障加入有限重试
给短暂故障加入有限重试
自动化任务遇到网络抖动、服务短暂过载或临时限流时,立即失败可能过于激进,但无限重试又会持续占用资源并放大故障。本节实现一个有次数上限、固定间隔且只针对临时错误重试的 Bash 模板。
学习目标
- 为 Shell 命令设置明确的最大重试次数和重试间隔
- 根据退出码区分可重试故障与永久故障
- 在最终失败时保留正确退出状态供调度系统识别
重试必须同时限制次数和条件
安全重试至少需要三个参数:最大尝试次数、两次尝试之间的间隔,以及哪些错误允许再次执行。缺少次数上限会形成无限循环;对所有错误都重试,则可能把参数错误、权限错误等永久故障拖成持续故障。
重试还要求操作具备可重复执行能力。查询接口通常风险较低,而部署、扣款、删除、创建资源等有副作用操作,应先确认幂等性或提供幂等键,否则一次超时可能让客户端误以为失败,实际服务端已经完成操作。
用退出码控制有限重试
下面的完整脚本约定退出码 75 表示临时故障,其他非零退出码直接失败。示例任务前两次模拟临时错误,第三次成功,因此结果可以稳定复现。
#!/usr/bin/env bash
retry() {
local max_attempts="$1"
local delay_seconds="$2"
shift 2
local attempt rc
for ((attempt = 1; attempt <= max_attempts; attempt++)); do
echo "attempt ${attempt}/${max_attempts}"
"$@"
rc=$?
if (( rc == 0 )); then
return 0
fi
# 只有约定的临时故障才允许重试。
if (( rc != 75 )); then
echo "not retryable: rc=${rc}"
return "$rc"
fi
if (( attempt == max_attempts )); then
echo "retry limit reached: rc=${rc}"
return "$rc"
fi
echo "retrying in ${delay_seconds}s"
sleep "$delay_seconds"
done
}
ATTEMPT=0
unstable_task() {
((ATTEMPT++))
if (( ATTEMPT < 3 )); then
echo "temporary failure"
return 75
fi
echo "task succeeded"
return 0
}
retry 3 1 unstable_task预期输出如下。这里的间隔固定为 1 秒,实际生产任务通常会根据下游承载能力适当拉长。
attempt 1/3
temporary failure
retrying in 1s
attempt 2/3
temporary failure
retrying in 1s
attempt 3/3
task succeeded函数最终返回最后一次命令的状态,因此可以直接交给 Cron、systemd、CI/CD 或其他调度系统判断成功与失败。
判断哪些故障值得重试
适合重试的通常是有机会自行恢复的瞬时问题,例如连接超时、临时 DNS 异常、服务返回明确的限流响应,或者 HTTP 502、503、504 等暂时不可用状态。真正接入 curl 时,应把 HTTP 状态码映射成脚本能够判断的退出状态,再进入重试逻辑。
参数非法、认证失败、文件不存在、权限不足、配置格式错误等问题不会因为等待几秒自动恢复,应立即失败。否则最大重试次数只是延迟暴露真正的问题。
控制重试带来的额外压力
固定间隔适合单机、低并发任务;如果大量实例会同时失败并重试,更适合指数退避并加入随机抖动,避免所有实例在相同时间再次冲击下游。无论采用哪种算法,都仍然需要总次数或总时长上限。
对于部署、清理、数据同步这类任务,还应记录每次尝试的次数和最终退出码。这样发生故障时,可以区分“第一次失败后自动恢复”和“连续失败达到上限”,而不是只看到一个最终失败结果。
有限重试的核心不是“尽量执行成功”,而是只给短暂故障有限的恢复机会;达到边界后及时失败,才能让监控、告警和人工处置继续接管。