PostgreSQL / 技术文章

PostgreSQL 死锁与锁等待怎么排查

接口突然超时、连接池开始排队,或日志出现 deadlock detected 时,最重要的不是先“杀会话”,而是尽快判断它属于普通慢查询、锁等待还是死锁,并找到真正的根阻塞事务。下面这条路径适合需要处理线上 PostgreSQL 故障的后端工程师、DBA 与 SRE;走完后,你应能从等待会话还原阻塞链,评估影响范围,并选择等待、取消查询、业务回滚或终止连接。

先分清锁等待、死锁和普通慢查询

三类现象都可能表现为接口耗时上升,但处置方式完全不同。

  • 锁等待:会话仍存在,只是在等待某个锁。pg_stat_activity.wait_event_type = 'Lock' 是最直接的运行态信号之一。
  • 死锁:两个或多个事务形成循环等待。PostgreSQL 检测到等待环后会让其中一个事务失败,因此你看到的通常不是“永久卡住”,而是 SQLSTATE 40P01、deadlock detected 和事务回滚。
  • 普通慢查询:语句执行很久,但没有被其他后端阻塞。此时优化方向是执行计划、I/O、CPU、数据量或外部资源,而不是锁链。

先做一份只读快照,不要一上来终止会话:

sql
SELECT
    now() AS sampled_at,
    pid,
    usename,
    application_name,
    client_addr,
    state,
    xact_start,
    query_start,
    wait_event_type,
    wait_event,
    pg_blocking_pids(pid) AS blocking_pids,
    left(query, 200) AS query
FROM pg_stat_activity
WHERE pid <> pg_backend_pid()
ORDER BY xact_start NULLS LAST, query_start NULLS LAST;

看到 wait_event_type = 'Lock' 且 blocking_pids 非空,可以继续沿锁等待路径排查。state = 'active' 只表示后端正在处理查询,并不代表它正在消耗 CPU;处于锁等待中的查询也可以是 active。另外,now() - query_start 只能表示当前语句已经存在多久,不能当作精确的锁等待起始时间;要计算真实等待时长,需要持续采样或结合锁等待日志。

一条 SQL 拉出等待者和阻塞者

生产排障优先使用 pg_blocking_pids() 建立“等待者 → 阻塞者”关系,再用 pg_stat_activity 补充事务状态、来源与 SQL。这样比只盯着 pg_locks.granted = false 更容易先找到该处理的人。

sql
SELECT
    w.pid AS waiting_pid,
    w.application_name AS waiting_app,
    w.client_addr AS waiting_client,
    now() - w.query_start AS waiting_query_age,
    w.wait_event,
    left(w.query, 160) AS waiting_query,
    x.blocker_pid,
    b.application_name AS blocker_app,
    b.client_addr AS blocker_client,
    b.state AS blocker_state,
    now() - b.xact_start AS blocker_xact_age,
    left(b.query, 160) AS blocker_query
FROM pg_stat_activity AS w
CROSS JOIN LATERAL unnest(pg_blocking_pids(w.pid)) AS x(blocker_pid)
LEFT JOIN pg_stat_activity AS b
       ON b.pid = x.blocker_pid
WHERE w.wait_event_type = 'Lock'
ORDER BY waiting_query_age DESC;

结果要先看四件事:谁在等、谁挡住它、阻塞事务开了多久、阻塞者来自哪个应用和客户端。若 blocker_state = 'idle in transaction' 且事务年龄持续增长,这是高风险信号:应用虽然暂时没有执行 SQL,但事务仍未结束,之前取得的事务级锁仍可能继续存在。

当你需要确认具体锁对象、锁模式或 granted 状态时,再下钻 pg_locks:

sql
SELECT
    pid,
    locktype,
    mode,
    granted,
    relation::regclass AS relation,
    page,
    tuple,
    transactionid,
    virtualxid
FROM pg_locks
WHERE pid IN (<WAITING_PID>, <BLOCKER_PID>)
ORDER BY pid, granted, locktype, mode;

不要要求每一次行级冲突都能从 pg_locks 里直接读出“某张表的某一行”。PostgreSQL 的等待可能表现为事务 ID 等等待对象;排障时应把 pg_blocking_pids() 的阻塞关系、pg_locks 的锁对象和业务 SQL 放在一起解释。

找到根阻塞者,再判断影响面

只看到一对等待关系还不够。常见事故是 A 阻塞 B,B 又持有别的冲突锁继续阻塞 C、D,最终放大成连接池堆积。真正应该优先处置的是链顶端的根阻塞者,而不是最慢的等待请求。

下面的查询先建立等待边,再找“自己没有继续等待别人”的根阻塞候选,并统计整条下游链影响了多少会话:

sql
WITH RECURSIVE
edges AS (
    SELECT
        a.pid AS waiting_pid,
        x.blocker_pid
    FROM pg_stat_activity AS a
    CROSS JOIN LATERAL unnest(pg_blocking_pids(a.pid)) AS x(blocker_pid)
),
roots AS (
    SELECT DISTINCT e.blocker_pid AS root_pid
    FROM edges AS e
    WHERE e.blocker_pid > 0
      AND NOT EXISTS (
          SELECT 1
          FROM edges AS upstream
          WHERE upstream.waiting_pid = e.blocker_pid
      )
),
tree AS (
    SELECT
        r.root_pid,
        e.waiting_pid AS blocked_pid,
        1 AS depth,
        ARRAY[r.root_pid, e.waiting_pid] AS path
    FROM roots AS r
    JOIN edges AS e
      ON e.blocker_pid = r.root_pid

    UNION ALL

    SELECT
        t.root_pid,
        e.waiting_pid,
        t.depth + 1,
        t.path || e.waiting_pid
    FROM tree AS t
    JOIN edges AS e
      ON e.blocker_pid = t.blocked_pid
    WHERE NOT e.waiting_pid = ANY(t.path)
)
SELECT
    t.root_pid,
    count(DISTINCT t.blocked_pid) AS blocked_sessions,
    max(t.depth) AS max_chain_depth,
    a.application_name,
    a.client_addr,
    a.state,
    now() - a.xact_start AS root_xact_age,
    left(a.query, 200) AS root_query
FROM tree AS t
LEFT JOIN pg_stat_activity AS a
       ON a.pid = t.root_pid
GROUP BY
    t.root_pid,
    a.application_name,
    a.client_addr,
    a.state,
    a.xact_start,
    a.query
ORDER BY blocked_sessions DESC, root_xact_age DESC NULLS LAST;

这份结果是一个采样时刻的拓扑,不是永久事实;高并发下等待边会快速变化。评估影响面时至少再对照应用连接池的 pending/borrow timeout、接口错误率和业务 Owner。数据库里只有 5 个等待会话,不代表影响就小:如果它们都卡在高流量入口,连接池可能很快被耗尽。

若形成真正的死锁环,环上的会话彼此都有上游,查询可能找不到“根”。这正是死锁与普通阻塞链的区别之一,应该转向服务端死锁日志还原等待环。

处置根阻塞事务时不要直接“杀 PID”

处置顺序应从证据最完整、破坏最小的动作开始。先记录根阻塞 PID、application_name、client_addr、事务年龄、当前状态、受影响会话数和关键 SQL,再确认它是否仍在推进以及业务是否允许中断。

如果根阻塞者正在执行一个可以安全取消的当前语句,可以先尝试:

sql
SELECT pg_cancel_backend(<BLOCKER_PID>);

pg_cancel_backend() 取消的是目标会话的当前查询,不是强制关闭整个连接。它也不等于“锁一定释放”:如果锁来自显式事务中更早的语句,应用仍未结束事务,阻塞可能继续存在。执行后必须重新采样阻塞链,而不是看到返回 true 就宣布恢复。

如果根阻塞会话处于 idle in transaction,通常没有正在运行的查询可供取消。这时优先让业务侧显式 ROLLBACK;在影响已经超过容忍边界、Owner 已确认中断后,才考虑终止会话:

sql
SELECT pg_terminate_backend(<BLOCKER_PID>);

终止后端会让该连接断开,并使未提交事务回滚。它比取消查询影响更大,还可能触发应用重连和重试,因此应把它视为受控处置动作。不要优先终止一批等待者:等待者消失只能暂时降低表面压力,根阻塞仍在时,新请求还会继续堆积。

死锁要从 40P01 和日志还原等待环

死锁发生后,现场往往已经被 PostgreSQL 打破,因此单靠事后的 pg_stat_activity 很难还原完整环路。最重要的证据是错误码、数据库日志以及应用侧事务上下文。

典型日志结构会包含“哪个进程等待什么、被哪个进程阻塞”以及相关语句,例如:

text
ERROR:  deadlock detected
DETAIL: Process 4201 waits for ShareLock on transaction <TXID_A>; blocked by process 4202.
        Process 4202 waits for ShareLock on transaction <TXID_B>; blocked by process 4201.
STATEMENT: <SQL_TEXT>

还原时统一使用“等待者 → 阻塞者”的箭头方向。上面的关系就是 4201 → 4202 → 4201,已经构成闭环。接着把 PID 对回 application_name、请求 trace、事务入口和 SQL 顺序,才能回答真正的问题:两个事务分别先拿了什么锁,随后又以什么相反顺序请求第二个资源。

应用看到 SQLSTATE 40P01 后,不应只重放最后一条 SQL。被选中的事务已经失败,正确做法是回到事务边界整体重试,并使用有上限的重试次数、退避和随机抖动;涉及扣款、发券、创建订单等副作用时,还必须有幂等键。若同一类死锁持续出现,重试只能缓解症状,根因通常仍要通过统一加锁顺序、缩短事务、拆除事务内远程调用或调整访问模式解决。

把一次排障固定成 Runbook

一套可复用的锁故障 Runbook 不需要很长,但顺序必须固定:先保留证据,再决定动作,最后验证恢复。建议把以下检查项做成值班模板:

  1. 保存 pg_stat_activity 快照,确认 wait_event_type、事务年龄、应用来源和 pg_blocking_pids()。
  2. 生成等待边,找根阻塞候选和整条链的受影响会话数。
  3. 对照连接池 pending、接口超时和错误率,判断是否已经从数据库等待放大成应用侧排队。
  4. 处置前记录根阻塞事务证据;能由业务回滚就不要直接终止连接,能取消当前查询就先验证取消是否足够。
  5. 死锁以 40P01 和服务端日志为准,复原“等待者 → 阻塞者”闭环,并回到事务代码检查加锁顺序。
  6. 处置后再次执行相同采样 SQL,确认等待链消失、连接池回落、接口恢复,而不是只确认某个 PID 已不存在。
  7. 复盘超时与日志基线,检查 lock_timeout、statement_timeout、idle_in_transaction_session_timeout、deadlock_timeout 和 log_lock_waits 是否符合当前服务的事务时长与等待预算。

可以先用下面的只读命令收集当前配置,避免故障现场凭印象判断:

sql
SHOW lock_timeout;
SHOW statement_timeout;
SHOW idle_in_transaction_session_timeout;
SHOW deadlock_timeout;
SHOW log_lock_waits;

其中 lock_timeout 约束单次获取锁的等待时间,statement_timeout 约束语句总执行时间;deadlock_timeout 是 PostgreSQL 启动死锁检查的等待门槛,不应被当成业务接口的锁等待 SLA。log_lock_waits 打开后,可为超过死锁检查等待门槛的锁等待补充日志证据。真正稳定的治理目标不是“线上会杀锁”,而是让异常事务更早超时、让空闲事务有边界、让死锁可以被日志还原,并让应用在安全范围内完成回滚或有界重试。

目录与阅读设置

记录一个想法

PostgreSQL 死锁与锁等待怎么排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通