PostgreSQL / 系统课时

交付锁与死锁治理方案

交付锁与死锁治理方案

锁治理的交付物不能停留在“知道如何查阻塞”。本节把事务规范、分层超时、DDL 门禁、监控告警与 Runbook 组合成一套可验收的生产方案,并用数据库查询验证关键控制是否真正落地。

学习目标

  • 把锁与死锁风险转成有负责人、有阈值、有证据的生产控制项。
  • 为事务、超时和 DDL 变更建立可执行的工程门禁。
  • 用监控与 Runbook 完成从发现、处置到复盘回灌的治理闭环。

先定义治理验收边界

治理目标不是消灭所有锁等待。正常事务本来就会持锁,真正需要控制的是不可预测的长等待、无边界事务、危险 DDL 和重复死锁。因此交付前先约定哪些现象允许出现、超过什么条件必须告警、由谁处置,以及处置后用什么证据证明恢复。

风险 控制目标 验收证据
长事务或空闲事务 事务边界明确,超出策略阈值可发现并处置 pg_stat_activity、事务年龄告警
锁等待扩散 等待达到阈值时能定位等待者与阻塞者 pg_blocking_pids()、锁等待看板
DDL 阻塞业务 高风险 DDL 先检查、可快速失败、可回退 发布流水线记录、变更演练
死锁 能检测增量、保留日志并定位参与 SQL pg_stat_database.deadlocks、数据库日志
人工处置失控 取消或终止会话前有明确授权与判断条件 Runbook、事件记录

事务规范、超时、DDL 门禁、监控与 Runbook 组成的锁治理闭环

这张图的关键不是工具数量,而是反馈方向:监控发现的问题必须回到事务代码、超时参数或发布流程中修正,否则 Runbook 只是在重复救火。

固化五道生产控制线

事务规范。 事务只覆盖必须保持原子性的数据库操作,不把远程 RPC、人工等待、长时间计算放在事务内部;所有异常路径都必须明确提交或回滚。连接池归还连接前还要确保事务已经结束,避免形成长期 idle in transaction。

超时策略。 lock_timeout 只限制等待锁的时间,statement_timeout 控制整条语句的执行时间,idle_in_transaction_session_timeout 用来终止长时间空闲但仍打开的事务。阈值应按在线请求、批处理、运维任务和迁移会话分层设置;同时启用前两者时,通常应让锁等待更早失败,而不是等到整条语句超时。

DDL 门禁。 生产变更在执行前检查长事务、锁等待和业务高峰,迁移会话设置较短的 lock_timeout 以避免无限等待。高风险 DDL 先在接近生产的数据规模上演练,发布平台限制并发迁移,并为失败后的重试、回退和人工升级预留路径。

监控告警。 至少持续观察阻塞会话数量与持续时间、最老事务年龄、idle in transaction 年龄、死锁计数增量,以及数据库日志中的长锁等待。启用 log_lock_waits 时,日志阈值与 deadlock_timeout 有关,因此两者应与告警策略一起评审,而不是孤立修改。

Runbook。 告警必须直接指向处置步骤:先保留等待链和 SQL 证据,再判断阻塞者是在正常执行、异常长跑还是已经空闲泄漏;只有确认影响范围和会话归属后,才进入取消语句、终止会话、停止流量或回滚变更等动作。

用数据库证据做上线验收

下面的 SQL 可直接在一次演练会话中执行。执行账号应具备读取其他会话统计信息的权限,否则等待链中的 SQL 等字段可能不可见。2s 和 10min 只是展示 DDL/运维会话“锁等待先失败、整条语句后失败”的分层方式,不是所有生产系统的统一推荐值;SET 只影响当前会话。

sql
SET lock_timeout = '2s';
SET statement_timeout = '10min';

SELECT current_setting('lock_timeout') AS lock_timeout,
       current_setting('statement_timeout') AS statement_timeout,
       current_setting('idle_in_transaction_session_timeout') AS idle_tx_timeout,
       current_setting('log_lock_waits') AS log_lock_waits,
       current_setting('deadlock_timeout') AS deadlock_timeout;

SELECT pid AS waiting_pid,
       pg_blocking_pids(pid) AS blocking_pids,
       now() - query_start AS query_age,
       left(query, 80) AS waiting_sql
FROM pg_stat_activity
WHERE cardinality(pg_blocking_pids(pid)) > 0
ORDER BY query_age DESC;

预期结果

text
SET
SET
 lock_timeout | statement_timeout | idle_tx_timeout | log_lock_waits | deadlock_timeout
--------------+-------------------+-----------------+----------------+-----------------
 2s           | 10min             | <VALUE>         | <VALUE>        | <VALUE>
(1 row)

 waiting_pid | blocking_pids | query_age | waiting_sql
-------------+---------------+-----------+------------
(0 rows)

实际参数值会随环境不同;干净的演练窗口中第二个查询可以是 0 rows。上线验收时不能只看“没有阻塞”,还要核对读取到的超时与日志参数是否符合批准的策略,并在故意制造锁等待的演练中确认查询能返回等待者和阻塞者 PID。

让告警触发可执行 Runbook

Runbook 应把“看到告警后怎么办”写成确定顺序,而不是临场依赖个人经验。

  1. 先记录时间、数据库、等待 PID、阻塞 PID、application_name、事务开始时间、等待事件和 SQL,避免处置后证据消失。
  2. 判断阻塞者是否仍在正常执行,以及它的事务是否符合业务预期。短事务优先等待自然释放,异常长跑语句再考虑 pg_cancel_backend()。
  3. 只有在确认会话归属、业务影响和回滚方式后,才考虑 pg_terminate_backend();若根因来自发布任务,优先停止继续产生冲突的新任务。
  4. 恢复后再次检查阻塞链、长事务和错误率,并把根因归入代码事务边界、索引或 SQL、DDL 流程、超时策略或容量问题,安排永久修复。

告警也不能只报“数据库有锁”。通知中至少应包含数据库、等待持续时间、等待者与阻塞者 PID、应用标识和 Runbook 链接;死锁类告警还应结合死锁计数增量与对应日志,避免只看到累计值就重复报警。

交付包通过什么才算完成

最终交付至少要让开发、DBA/SRE 和发布平台对同一套规则达成一致,并留下可复验的证据:

  • 事务规范已经进入开发约束,明确禁止长时间持锁和未结束事务。
  • 超时策略按工作负载分层,参数值、作用范围、例外和负责人都有记录。
  • DDL 流水线具备预检查、锁等待快速失败、并发限制和失败回退机制。
  • 看板能看到阻塞、长事务、空闲事务和死锁趋势,告警都有明确接收人与升级路径。
  • 数据库日志能够支撑长锁等待与死锁分析,并有与事故调查匹配的保留周期。
  • Runbook 明确证据采集、等待、取消、终止、回滚和升级条件,并完成过演练。
  • 至少完成一次锁等待和一次死锁演练,证明告警、定位、处置、恢复与复盘链路都能闭环。

锁治理真正完成的标志不是生产环境从此“没有等待”,而是等待有边界、死锁可发现、DDL 能安全失败、事故能按标准动作恢复,并且每次事件都会反向改进事务代码、参数或发布门禁。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

交付锁与死锁治理方案

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通