PostgreSQL / 系统课时

用 SKIP LOCKED 构建并发任务领取

用 SKIP LOCKED 构建并发任务领取

多个 Worker 从同一任务表领取工作时,如果大家都等待第一条已被锁住的任务,并发度会迅速下降。FOR UPDATE SKIP LOCKED 可以让每个 Worker 跳过暂时被占用的行,领取不同任务,但它得到的是队列式视图,不适合普通一致性查询。

学习目标

  • 使用 FOR UPDATE SKIP LOCKED 原子领取一条待处理任务
  • 解释多个 Worker 为什么不会同时领取同一行
  • 处理长期占锁、重试和任务状态恢复边界

建立最小任务队列

sql
DROP TABLE IF EXISTS jobs;

CREATE TABLE jobs (
    id bigserial PRIMARY KEY,
    payload text NOT NULL,
    status text NOT NULL DEFAULT 'ready',
    worker_id text,
    started_at timestamptz,
    attempts integer NOT NULL DEFAULT 0
);

INSERT INTO jobs (payload)
VALUES ('job-a'), ('job-b'), ('job-c');

SELECT id, payload, status
FROM jobs
ORDER BY id;

预期输出:

text
 id | payload | status
----+---------+--------
  1 | job-a   | ready
  2 | job-b   | ready
  3 | job-c   | ready
(3 rows)

在一个事务里领取并改状态

Worker A 执行:

sql
BEGIN;

WITH picked AS (
    SELECT id
    FROM jobs
    WHERE status = 'ready'
    ORDER BY id
    FOR UPDATE SKIP LOCKED
    LIMIT 1
)
UPDATE jobs AS j
SET status = 'running',
    worker_id = 'worker-a',
    started_at = clock_timestamp(),
    attempts = attempts + 1
FROM picked
WHERE j.id = picked.id
RETURNING j.id, j.payload, j.status, j.worker_id;

预期输出:

text
 id | payload | status  | worker_id
----+---------+---------+-----------
  1 | job-a   | running | worker-a
(1 row)

先不要提交 A。此时 Worker B 执行同一段 SQL,只把 worker-a 改为 worker-b。因为任务 1 的行锁仍由 A 持有,B 会跳过它并领取下一条可锁任务。

预期输出:

text
 id | payload | status  | worker_id
----+---------+---------+-----------
  2 | job-b   | running | worker-b
(1 row)

SKIP LOCKED 并发领取不同任务

为什么必须尽快提交

领取事务如果长时间不提交,对应行会持续被其他 Worker 跳过。因此常见做法是在很短的事务中完成“锁定 + 改为 running + 记录领取者”,随后立即提交,再在事务外执行耗时业务。

两个 Worker 都执行:

sql
COMMIT;

预期输出:

text
COMMIT

此后再查询可以看到任务 1、2 已被不同 Worker 领取。

给异常 Worker 留恢复路径

SKIP LOCKED 不会自动处理崩溃后的业务状态。如果 Worker 已提交 running 后进程退出,该任务不会因为行锁释放就自动变回 ready。

生产队列通常需要租约或超时恢复,例如根据 started_at 找到长时间未完成的 running 任务,确认原 Worker 已失效后再回到可重试状态。同时设置最大重试次数,避免永久失败任务无限循环。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 SKIP LOCKED 构建并发任务领取

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通