Linux 与服务器运维 / 系统课时

用文件锁避免任务重复执行

用文件锁避免任务重复执行

定时部署、日志清理或数据同步可能因为上一轮尚未结束而再次启动。两个进程同时修改同一批资源会造成重复执行和状态竞争。本节使用 Linux 的 flock 建立文件锁,让同一任务在任意时刻只允许一个实例进入关键区。

学习目标

  • 使用 flock 为 Shell 自动化任务建立进程级互斥
  • 根据业务选择立即失败、等待锁或超时退出
  • 正确识别锁文件、文件描述符和锁生命周期之间的关系

文件锁保护的是执行区而不是文件内容

flock 会对一个打开的文件或文件描述符申请内核锁。锁文件本身通常只是稳定的锁定对象,真正需要保护的是部署、清理、备份等后续操作。

只创建 /tmp/task.lock 文件并不能阻止第二个进程运行。两个进程必须主动对同一个锁对象调用 flock,互斥才会生效。持锁进程退出或对应文件描述符关闭后,内核会释放锁,因此通常不需要手工删除锁文件。

用非阻塞锁实现重复任务快速失败

下面脚本通过文件描述符 9 打开锁文件,再使用 flock -n 9 尝试立即获得独占锁。若已有实例持锁,新进程不会等待,而是直接退出。

bash
#!/usr/bin/env bash

LOCK_FILE="/tmp/anystack-deploy.lock"

# 文件描述符 9 在当前脚本存活期间保持打开,因此锁也会持续持有。
exec 9>"$LOCK_FILE"

if ! flock -n 9; then
  echo "another instance is running"
  exit 75
fi

echo "lock acquired: $$"
sleep 5

echo "task completed"

单独运行一次时,预期输出中的进程号属于动态值,因此用 <PID> 表示,实际值会不同。

text
lock acquired: <PID>
task completed

这里不需要显式调用解锁命令。脚本结束后文件描述符 9 被关闭,锁会自动释放;即使锁文件仍留在 /tmp 中,也不表示任务仍然被锁住。

验证第二个实例会被拒绝

将脚本保存为当前目录下的 task.sh 后,可以先在后台启动一个实例,再在它持锁期间启动第二个实例。

bash
chmod +x ./task.sh
./task.sh &
first_pid=$!
sleep 1
./task.sh
wait "$first_pid"

预期结果是第一个实例成功获得锁,第二个实例立即报告冲突,等第一个实例完成后锁自动释放。<PID> 的实际值每次运行都可能不同。

text
lock acquired: <PID>
another instance is running
task completed

第二个实例返回退出码 75,调度系统因此可以把“已有任务正在执行”与脚本自身执行失败区分开。生产环境可以根据监控约定改成其他非零退出码。

选择失败、等待还是限时等待

flock -n 适合定时清理、周期同步等场景:如果前一轮仍在运行,本轮直接跳过通常比排队更安全。如果每一轮都必须执行,可以让 flock 阻塞等待;但没有超时限制时,异常长任务可能让后续进程不断堆积。

需要有限等待时可以使用 flock -w 30 9,表示最多等待 30 秒获得锁。这样既允许短时间重叠自动恢复,也避免任务无限挂起。等待时间应小于任务调度周期,并结合业务是否允许跳过执行来确定。

避免常见锁设计错误

所有可能并发执行的脚本实例必须使用完全相同的锁文件路径。如果一个实例锁 /tmp/a.lock,另一个锁 /tmp/b.lock,两者之间不存在任何互斥关系。锁文件目录还应确保运行账号具有创建和打开权限。

不要通过“检测 PID 文件是否存在”替代内核锁。进程异常退出后 PID 文件可能残留,PID 也可能被操作系统重新分配,而 flock 的锁会随文件描述符释放,更适合控制实际执行生命周期。

文件锁解决的是同一主机上的重复执行问题。任务如果会同时运行在多台服务器上,本地 flock 无法形成跨主机互斥,此时需要数据库锁、Redis 锁或调度平台自身提供的集群互斥能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用文件锁避免任务重复执行

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通