命令行与文本处理 / 系统课时
怎样防止同一个任务重复执行
怎样防止同一个任务重复执行
当 Cron 的执行间隔短于脚本耗时,上一轮还没结束,下一轮就可能再次启动。结果常见于重复写入、并发备份、资源争抢。本节用 flock 给 Shell 任务加互斥锁,让同一时刻只有一个实例真正执行。
学习目标
- 判断 Cron 任务为什么会发生重叠执行
- 使用
flock实现单实例运行 - 选择合适的锁位置并验证锁是否生效
重叠执行是怎么发生的
Cron 只负责按时间触发命令,不会自动等待上一轮完成。假设任务每分钟启动一次,但一次运行需要 90 秒,那么第 60 秒时第二个实例就会出现。两个实例若同时写同一文件、更新同一批数据或执行同一份备份,可能产生重复结果,也会放大 CPU、磁盘和网络压力。

锁的关键不是“记录正在运行”,而是让多个进程竞争同一个内核锁。获得锁的进程继续执行,拿不到锁的进程立即退出,这样即使 Cron 连续触发也不会进入业务主体。
用 flock 限制为单实例
下面的示例把文件描述符 9 绑定到同一个锁文件,再使用 flock -n 9 尝试非阻塞加锁。-n 表示锁已被其他进程占用时不要等待。
cat > /tmp/locked-job.sh <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
lock_file=/tmp/anystack-demo.lock
exec 9>"$lock_file"
if ! flock -n 9; then
printf 'skip: another instance is running\n'
exit 0
fi
printf 'start pid=%s\n' "$$"
sleep 3
printf 'done pid=%s\n' "$$"
EOF
chmod +x /tmp/locked-job.sh
/tmp/locked-job.sh &
sleep 0.2
/tmp/locked-job.sh
wait预期输出
start pid=<ID>
skip: another instance is running
done pid=<ID><ID> 是实际进程号,每次运行都可能不同。第一个实例持锁期间,第二个实例被跳过;第一个进程退出时,文件描述符关闭,内核自动释放锁,不需要手工删除锁文件。
放进 Cron 时怎样写
如果脚本本身没有加锁,也可以直接在 crontab 命令外包一层 flock。下面是配置示例,不是需要单独执行的 Shell 会话命令。
* * * * * /usr/bin/flock -n /tmp/report-job.lock /opt/jobs/report.sh >> "$HOME/report-cron.log" 2>&1这条配置每分钟尝试运行一次 /opt/jobs/report.sh。如果上一轮仍持有 /tmp/report-job.lock 的锁,新一轮会立即结束。生产环境应先确认 flock 的实际路径,并保证运行 Cron 的用户有权限创建锁文件和日志文件。
锁应该保护什么范围
锁必须在任何有副作用的业务动作之前取得,并一直持有到任务结束。不要先生成部分文件、更新数据库,再去抢锁,否则重复实例仍可能造成并发修改。
flock 适合 Linux 上的本机互斥任务。如果任务会在多台服务器同时被调度,本地锁文件只能约束单机进程,不能形成跨主机互斥;这时应把互斥放到共享数据库、分布式锁服务或调度平台中。使用 mkdir 也能利用目录创建的原子性做简单锁,但异常退出可能留下陈旧目录,维护成本通常高于 flock。