PostgreSQL / 系统课时

设计并发任务领取模式

设计并发任务领取模式

多个 Worker 从同一张任务表取活时,直接 SELECT 再 UPDATE 容易重复领取,而普通 FOR UPDATE 又可能让 Worker 排队阻塞。本课用 FOR UPDATE SKIP LOCKED 构造短事务领取流程,并把吞吐、公平性和宕机后的任务恢复边界一起设计清楚。

学习目标

  • 使用锁定读取与 SKIP LOCKED 让多个 Worker 并发领取不同任务
  • 把“领取”与“执行”拆开,避免长事务持续持有行锁
  • 理解 SKIP LOCKED 的非严格公平性,并为 Worker 宕机设计超时恢复与幂等处理

为什么要跳过已锁定任务

任务队列表通常希望“谁先抢到谁处理”。如果多个 Worker 同时执行普通 SELECT ... FOR UPDATE,后到的事务会等待前一个事务释放目标行;当队列里还有大量可处理任务时,这种等待会浪费并行度。

SKIP LOCKED 会让锁定读取跳过当前无法立即加锁的候选行,继续寻找后面的可用行。因此它很适合队列式消费,但它返回的是一个刻意忽略被锁行的视图,不适合作为要求完整一致结果的普通业务查询。

多个 Worker 使用 SKIP LOCKED 并发领取任务

用一个原子语句完成领取

核心做法是把“选择待处理任务”和“把它标成已领取”放在同一个短事务中。下面是片段示例:CTE 先锁住最多两条 pending 任务,再在同一语句中更新为 running。ORDER BY available_at, id 提供稳定的候选顺序,SKIP LOCKED 则允许其他 Worker 跳过当前已经被锁的行。

sql
WITH picked AS (
    SELECT id
    FROM job_queue
    WHERE status = 'pending'
      AND available_at <= now()
    ORDER BY available_at, id
    FOR UPDATE SKIP LOCKED
    LIMIT 2
)
UPDATE job_queue AS j
SET status = 'running',
    locked_by = $1,
    locked_at = clock_timestamp()
FROM picked
WHERE j.id = picked.id
RETURNING j.id, j.status, j.locked_by;

这是供应用程序参数化执行的 SQL 片段,$1 需要由 PostgreSQL 客户端绑定为当前 Worker 的唯一实例标识。语句返回的行就是本次成功领取的任务;事务提交后,应尽快离开数据库事务,再执行真正耗时的业务逻辑。

验证两个 Worker 不会互相排队

下面的 Python 程序依赖 psycopg 3,并通过 POSTGRES_DSN 连接测试数据库。Worker A 领取任务后故意保持事务一秒;Worker B 在 A 仍持锁时开始领取。由于使用 SKIP LOCKED,B 不等待 A 的任务,而是直接得到后面的任务。

python
import os
import threading
import time

import psycopg

DSN = os.environ["POSTGRES_DSN"]

CLAIM_SQL = """
WITH picked AS (
    SELECT id
    FROM job_queue
    WHERE status = 'pending'
      AND available_at <= now()
    ORDER BY available_at, id
    FOR UPDATE SKIP LOCKED
    LIMIT 2
)
UPDATE job_queue AS j
SET status = 'running',
    locked_by = %s,
    locked_at = clock_timestamp()
FROM picked
WHERE j.id = picked.id
RETURNING j.id
"""

def setup():
    with psycopg.connect(DSN) as conn:
        conn.execute("DROP TABLE IF EXISTS job_queue")
        conn.execute(
            "CREATE TABLE job_queue ("
            "id bigserial PRIMARY KEY, "
            "status text NOT NULL, "
            "available_at timestamptz NOT NULL, "
            "locked_by text, locked_at timestamptz)"
        )
        conn.execute(
            "INSERT INTO job_queue(status, available_at) "
            "SELECT 'pending', now() FROM generate_series(1, 5)"
        )
        conn.execute(
            "CREATE INDEX job_queue_pending_order_idx "
            "ON job_queue (available_at, id) WHERE status = 'pending'"
        )

def claim(worker, hold_seconds=0, locked_event=None):
    with psycopg.connect(DSN) as conn:
        with conn.transaction():
            rows = conn.execute(CLAIM_SQL, (worker,)).fetchall()
            ids = sorted(row[0] for row in rows)
            print(f"{worker}: {ids}")

            # 通知另一个线程:本事务已经锁定并更新了这些任务。
            if locked_event is not None:
                locked_event.set()
            if hold_seconds:
                time.sleep(hold_seconds)

def main():
    setup()
    a_locked = threading.Event()

    worker_a = threading.Thread(target=claim, args=("worker-a", 1, a_locked))
    worker_a.start()
    a_locked.wait(timeout=5)

    worker_b = threading.Thread(target=claim, args=("worker-b",))
    worker_b.start()

    worker_a.join()
    worker_b.join()

if __name__ == "__main__":
    main()

预期输出:

text
worker-a: [1, 2]
worker-b: [3, 4]

如果去掉 SKIP LOCKED,Worker B 会在 A 持锁期间等待,而不是立即领取 3、4。生产代码仍应让领取事务尽量短:领取并提交后再处理任务,否则单个慢任务会把数据库锁的持有时间扩展到整个业务执行阶段。

处理公平性与失败恢复

ORDER BY available_at, id 只能保证每个 Worker 在当前可锁定集合中优先选择更早到期、再选择较小 ID;已经被别的事务锁住的老任务会被跳过,所以这不是严格 FIFO。队列吞吐通常因此提高,但如果业务要求强公平、全局顺序或同一键严格串行,就需要分区队列、单消费者或额外协调机制,而不能只靠 SKIP LOCKED。

领取事务一旦提交,数据库行锁就释放了,因此任务是否“仍归某个 Worker 所有”必须由持久化字段表示,例如 status、locked_by 和 locked_at。如果 Worker 在提交领取后宕机,任务会停留在 running,恢复器可以把超过租约时间的任务重新放回队列。

sql
UPDATE job_queue
SET status = 'pending',
    locked_by = NULL,
    locked_at = NULL
WHERE status = 'running'
  AND locked_at < clock_timestamp() - interval '5 minutes';

预期结果:

text
UPDATE <VALUE>

实际恢复行数取决于当前过期任务数量。租约过短会让仍在执行的任务被重复领取,因此长任务通常需要续租心跳;即使有租约,也应把任务处理设计成幂等,因为 Worker 可能在外部副作用已经发生、但“标记 done”之前崩溃。SKIP LOCKED 解决的是并发领取时的锁等待,不是端到端的 exactly-once 保证。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

设计并发任务领取模式

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通