PostgreSQL / 系统课时

编写锁故障排查 Runbook

编写锁故障排查 Runbook

锁故障最怕边查边猜、先杀会话后补证据。本篇把生产处置固化为可执行 Runbook:先发现等待,再还原阻塞关系,按风险选择动作,最后验证恢复并保留可复盘证据。

学习目标

  • 用 pg_stat_activity 与 pg_blocking_pids() 快速确认锁等待和疑似根阻塞。
  • 按“取证 → 定位 → 处置 → 验证”顺序选择等待、取消、回滚或终止会话。
  • 为一次锁故障留下足够证据,并把临时处置转成长期治理项。

先确认是不是锁故障

告警可能来自连接数上涨、接口超时或 SQL 变慢,但这些现象不等于锁阻塞。第一步只做只读采样:找 wait_event_type = 'Lock' 的等待者,同时把 idle in transaction 的长事务纳入视野,因为它们常常没有正在执行的 SQL,却仍可能持锁。

sql
SELECT
    a.pid,
    a.application_name,
    a.usename,
    a.state,
    a.wait_event_type,
    a.wait_event,
    clock_timestamp() - a.xact_start AS xact_age,
    pg_blocking_pids(a.pid) AS blocking_pids,
    left(a.query, 120) AS query_sample
FROM pg_stat_activity AS a
WHERE a.datname = current_database()
  AND (
      a.wait_event_type = 'Lock'
      OR a.state = 'idle in transaction'
  )
ORDER BY a.xact_start NULLS LAST, a.pid;

预期输出:实际 PID、等待时长和 SQL 会不同;至少应能区分等待者与仍处于事务中的会话。

text
 pid     | application_name | state               | wait_event_type | wait_event    | xact_age | blocking_pids | query_sample
---------+------------------+---------------------+-----------------+---------------+----------+---------------+-----------------------------
 <PID_A> | api              | idle in transaction | <TYPE>          | <EVENT>       | 00:01:12 | {}            | UPDATE orders SET ...
 <PID_B> | api              | active              | Lock            | transactionid | 00:00:09 | {<PID_A>}     | UPDATE orders SET ...

不要只按“事务最老”直接认定根因。等待者可能被多个会话阻塞,队列中也可能存在软阻塞;pg_blocking_pids() 比手工把 pg_locks 自连接更适合先回答“谁挡住了谁”。

还原阻塞边再找根节点

把每个等待 PID 展开成“等待者 → 阻塞者”边,能快速看出一对一、一对多以及链式阻塞。生产上应同时记录应用名、用户、事务年龄和 SQL 摘要,避免只拿一个 PID 做处置依据。

sql
WITH edges AS (
    SELECT
        a.pid AS waiter_pid,
        b.blocker_pid
    FROM pg_stat_activity AS a
    CROSS JOIN LATERAL unnest(pg_blocking_pids(a.pid)) AS b(blocker_pid)
)
SELECT
    e.waiter_pid,
    wa.application_name AS waiter_app,
    e.blocker_pid,
    ba.application_name AS blocker_app,
    ba.state AS blocker_state,
    clock_timestamp() - ba.xact_start AS blocker_xact_age,
    left(ba.query, 100) AS blocker_query
FROM edges AS e
LEFT JOIN pg_stat_activity AS wa
    ON wa.pid = e.waiter_pid
LEFT JOIN pg_stat_activity AS ba
    ON ba.pid = e.blocker_pid
ORDER BY e.blocker_pid, e.waiter_pid;

预期输出:同一个 blocker_pid 被多行引用时,说明它同时影响多个等待者;若阻塞者本身也出现在 waiter_pid 中,则还要继续向上追。

text
 waiter_pid | waiter_app | blocker_pid | blocker_app | blocker_state       | blocker_xact_age | blocker_query
------------+------------+-------------+-------------+---------------------+------------------+-----------------------------
 <PID_B>    | api        | <PID_A>     | api         | idle in transaction | 00:01:21         | UPDATE orders SET ...
 <PID_C>    | worker     | <PID_A>     | api         | idle in transaction | 00:01:21         | UPDATE orders SET ...

锁故障排查 Runbook 流程

处置前先做风险判断

处置目标是结束造成阻塞的事务,不是让监控图暂时变绿。先停止或限流会继续制造等待的新请求,再确认根阻塞的应用、业务动作、事务年龄和负责人。能由业务侧正常提交或回滚时,优先让业务完成事务。

pg_cancel_backend() 只取消目标后台当前正在执行的查询;在显式事务里,取消查询并不等价于会话已经结束,也不能把“函数返回 true”当成锁已释放。pg_terminate_backend() 会终止会话,通常用于业务无法自行结束事务且影响持续扩大的场景。

下面是处置模板,执行前必须把 <PID> 替换为刚刚复核过的根阻塞 PID,并确认权限与业务影响。

sql
SELECT pg_cancel_backend(<PID>);
SELECT pg_terminate_backend(<PID>);

预期输出:权限足够且目标 PID 仍存在时,函数通常返回 t;这只说明信号发送成功,是否真正恢复仍要用后续查询验证。

text
 pg_cancel_backend
-------------------
 t

 pg_terminate_backend
----------------------
 t

用退出条件判断是否恢复

根阻塞消失后,不能只看一条 SQL 成功就宣布结束。重新采样当前数据库的锁等待数量,并观察应用侧连接池、超时率和吞吐是否回落;若等待者只是换了一个新的 blocker,Runbook 仍未完成。

sql
SELECT
    count(*) FILTER (WHERE wait_event_type = 'Lock') AS lock_waiters,
    COALESCE(
        (max(clock_timestamp() - query_start)
            FILTER (WHERE wait_event_type = 'Lock'))::text,
        'none'
    ) AS oldest_lock_wait
FROM pg_stat_activity
WHERE datname = current_database();

预期输出:没有剩余锁等待时应为 0 和 none。

text
 lock_waiters | oldest_lock_wait
--------------+-----------------
 0            | none

生产退出条件至少包括:根阻塞事务已经结束、等待队列持续下降且不再生成同类等待、关键接口恢复、连接池不再逼近上限。若仍有异常,重新从阻塞边开始追,不要继续沿用旧 PID 推断。

保留证据并转成治理项

事件记录应保存采样时间、数据库、等待者和阻塞者 PID、application_name、用户、事务年龄、SQL 摘要、处置人、处置动作及恢复时间,并关联同时间段的 PostgreSQL 日志和应用请求标识。PID 会被复用,因此事件中必须带时间上下文。

复盘时重点追“为什么事务活了这么久”:是否把远程调用放进事务、异常路径漏掉回滚、连接池把会话长期留在 idle in transaction,或缺少合适的锁等待保护。idle_in_transaction_session_timeout、按角色或应用设置的 lock_timeout、锁等待日志和事务时长监控都可以成为护栏,但它们不能替代正确的事务边界。Runbook 的价值不是教人快速杀连接,而是让每次处置都有证据、有停止条件,也能留下下一次不再发生的改进项。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

编写锁故障排查 Runbook

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通