PostgreSQL / 系统课时
用 SKIP LOCKED 构建并发任务领取
用 SKIP LOCKED 构建并发任务领取
多个 Worker 从同一任务表领取工作时,如果大家都等待第一条已被锁住的任务,并发度会迅速下降。FOR UPDATE SKIP LOCKED 可以让每个 Worker 跳过暂时被占用的行,领取不同任务,但它得到的是队列式视图,不适合普通一致性查询。
学习目标
- 使用
FOR UPDATE SKIP LOCKED原子领取一条待处理任务 - 解释多个 Worker 为什么不会同时领取同一行
- 处理长期占锁、重试和任务状态恢复边界
建立最小任务队列
sql
DROP TABLE IF EXISTS jobs;
CREATE TABLE jobs (
id bigserial PRIMARY KEY,
payload text NOT NULL,
status text NOT NULL DEFAULT 'ready',
worker_id text,
started_at timestamptz,
attempts integer NOT NULL DEFAULT 0
);
INSERT INTO jobs (payload)
VALUES ('job-a'), ('job-b'), ('job-c');
SELECT id, payload, status
FROM jobs
ORDER BY id;预期输出:
text
id | payload | status
----+---------+--------
1 | job-a | ready
2 | job-b | ready
3 | job-c | ready
(3 rows)在一个事务里领取并改状态
Worker A 执行:
sql
BEGIN;
WITH picked AS (
SELECT id
FROM jobs
WHERE status = 'ready'
ORDER BY id
FOR UPDATE SKIP LOCKED
LIMIT 1
)
UPDATE jobs AS j
SET status = 'running',
worker_id = 'worker-a',
started_at = clock_timestamp(),
attempts = attempts + 1
FROM picked
WHERE j.id = picked.id
RETURNING j.id, j.payload, j.status, j.worker_id;预期输出:
text
id | payload | status | worker_id
----+---------+---------+-----------
1 | job-a | running | worker-a
(1 row)先不要提交 A。此时 Worker B 执行同一段 SQL,只把 worker-a 改为 worker-b。因为任务 1 的行锁仍由 A 持有,B 会跳过它并领取下一条可锁任务。
预期输出:
text
id | payload | status | worker_id
----+---------+---------+-----------
2 | job-b | running | worker-b
(1 row)
为什么必须尽快提交
领取事务如果长时间不提交,对应行会持续被其他 Worker 跳过。因此常见做法是在很短的事务中完成“锁定 + 改为 running + 记录领取者”,随后立即提交,再在事务外执行耗时业务。
两个 Worker 都执行:
sql
COMMIT;预期输出:
text
COMMIT此后再查询可以看到任务 1、2 已被不同 Worker 领取。
给异常 Worker 留恢复路径
SKIP LOCKED 不会自动处理崩溃后的业务状态。如果 Worker 已提交 running 后进程退出,该任务不会因为行锁释放就自动变回 ready。
生产队列通常需要租约或超时恢复,例如根据 started_at 找到长时间未完成的 running 任务,确认原 Worker 已失效后再回到可重试状态。同时设置最大重试次数,避免永久失败任务无限循环。
按自己的节奏,确认真正理解。