命令行与文本处理 / 系统课时

怎样防止同一个任务重复执行

怎样防止同一个任务重复执行

当 Cron 的执行间隔短于脚本耗时,上一轮还没结束,下一轮就可能再次启动。结果常见于重复写入、并发备份、资源争抢。本节用 flock 给 Shell 任务加互斥锁,让同一时刻只有一个实例真正执行。

学习目标

  • 判断 Cron 任务为什么会发生重叠执行
  • 使用 flock 实现单实例运行
  • 选择合适的锁位置并验证锁是否生效

重叠执行是怎么发生的

Cron 只负责按时间触发命令,不会自动等待上一轮完成。假设任务每分钟启动一次,但一次运行需要 90 秒,那么第 60 秒时第二个实例就会出现。两个实例若同时写同一文件、更新同一批数据或执行同一份备份,可能产生重复结果,也会放大 CPU、磁盘和网络压力。

Cron 任务重叠与互斥锁流程

锁的关键不是“记录正在运行”,而是让多个进程竞争同一个内核锁。获得锁的进程继续执行,拿不到锁的进程立即退出,这样即使 Cron 连续触发也不会进入业务主体。

用 flock 限制为单实例

下面的示例把文件描述符 9 绑定到同一个锁文件,再使用 flock -n 9 尝试非阻塞加锁。-n 表示锁已被其他进程占用时不要等待。

bash
cat > /tmp/locked-job.sh <<'EOF'
#!/usr/bin/env bash
set -euo pipefail

lock_file=/tmp/anystack-demo.lock
exec 9>"$lock_file"

if ! flock -n 9; then
  printf 'skip: another instance is running\n'
  exit 0
fi

printf 'start pid=%s\n' "$$"
sleep 3
printf 'done pid=%s\n' "$$"
EOF

chmod +x /tmp/locked-job.sh
/tmp/locked-job.sh &
sleep 0.2
/tmp/locked-job.sh
wait

预期输出

text
start pid=<ID>
skip: another instance is running
done pid=<ID>

<ID> 是实际进程号,每次运行都可能不同。第一个实例持锁期间,第二个实例被跳过;第一个进程退出时,文件描述符关闭,内核自动释放锁,不需要手工删除锁文件。

放进 Cron 时怎样写

如果脚本本身没有加锁,也可以直接在 crontab 命令外包一层 flock。下面是配置示例,不是需要单独执行的 Shell 会话命令。

text
* * * * * /usr/bin/flock -n /tmp/report-job.lock /opt/jobs/report.sh >> "$HOME/report-cron.log" 2>&1

这条配置每分钟尝试运行一次 /opt/jobs/report.sh。如果上一轮仍持有 /tmp/report-job.lock 的锁,新一轮会立即结束。生产环境应先确认 flock 的实际路径,并保证运行 Cron 的用户有权限创建锁文件和日志文件。

锁应该保护什么范围

锁必须在任何有副作用的业务动作之前取得,并一直持有到任务结束。不要先生成部分文件、更新数据库,再去抢锁,否则重复实例仍可能造成并发修改。

flock 适合 Linux 上的本机互斥任务。如果任务会在多台服务器同时被调度,本地锁文件只能约束单机进程,不能形成跨主机互斥;这时应把互斥放到共享数据库、分布式锁服务或调度平台中。使用 mkdir 也能利用目录创建的原子性做简单锁,但异常退出可能留下陈旧目录,维护成本通常高于 flock。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

怎样防止同一个任务重复执行

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通