PostgreSQL / 系统课时

执行线上止损恢复

执行线上止损恢复

线上连接风暴处置的目标不是把连接数瞬间清零,而是先阻止新增压力,再释放可安全回收的资源,最后恢复稳定的连接获取能力。本课按“限流→收缩池→清理异常会话→验证恢复”的顺序演练,并明确哪些动作不能直接执行。

学习目标

  • 能按风险从低到高组织连接风暴的止损顺序。
  • 能区分应用池调整、流量限制和 PostgreSQL 会话终止的适用场景。
  • 能使用连接数、拒绝数、会话状态和业务成功率验证恢复,而不是只看数据库连接数下降。

先冻结新增压力

止损第一步应让系统停止继续扩大连接占用。最常见的方法是降低入口流量、暂停非核心任务,或临时降低应用实例的并发度。此时不要急着把数据库连接池调到极小值,因为已有请求可能正持有连接,突然缩池只会让更多请求在应用侧等待。

应先记录当前基线,例如入口 QPS、连接池 active/idle/waiting、代理后端连接和 PostgreSQL sessions。每次只改变一个主要变量,这样恢复后才能判断哪个动作真正生效。

收缩连接池而不是直接清空连接

当新增流量已经受控,再把连接池上限降到数据库可以稳定承受的范围。常见连接池通常支持运行时或配置级别调整;若当前环境不支持动态收缩,应采用滚动重启或实例摘流方式逐步生效,而不是一次性重启所有实例。

例如某服务当前有 8 个实例,每个实例数据库连接上限为 80。若数据库已处于连接压力状态,可以先把单实例上限调整到 <VALUE>,并观察连接总量是否开始下降。最终值必须结合数据库容量、请求并发和 SQL 平均持有连接时间确定,不能机械套用固定比例。

text
连接池止损顺序
1. 限制新增业务流量
2. 降低单实例连接池上限
3. 观察等待连接与数据库会话变化
4. 仅对确认异常的会话执行终止
5. 恢复流量并逐步扩大池容量

预期结果

text
入口流量下降后:新增连接增速停止
连接池收缩后:waiting 值先可能上升,随后 active 与数据库 sessions 逐步下降

这里要注意,连接池收缩后的短时间内出现等待并不一定代表动作失败。真正的判断标准是压力是否停止继续扩大,以及数据库是否重新获得资源余量。

谨慎处理 PostgreSQL 异常会话

确认连接主要来自异常实例后,可以进一步筛选长期异常会话。优先处理明确卡住、明显失去业务上下文或已经超过既定操作时限的连接;不要按“最老连接”这一单一条件批量清理。

可以先用查询生成候选 PID,而不是直接执行终止操作。

sql
SELECT
    pid,
    usename,
    application_name,
    client_addr,
    state,
    now() - xact_start AS xact_age,
    now() - query_start AS query_age,
    left(query, 120) AS query_sample
FROM pg_stat_activity
WHERE pid <> pg_backend_pid()
  AND state IN ('active', 'idle in transaction')
ORDER BY COALESCE(xact_start, query_start) NULLS LAST
LIMIT 20;

预期结果

text
 pid   | usename | application_name | client_addr | state               | xact_age | query_age | query_sample
-------+---------+------------------+-------------+---------------------+----------+-----------+-------------
 <PID> | app     | api              | <IP>        | idle in transaction | <TIME>   | <TIME>    | <SQL>
 <PID> | app     | api              | <IP>        | active              | <TIME>   | <TIME>    | <SQL>

确认后才执行精确终止。pg_cancel_backend 更适合先取消当前查询;若会话本身已经成为异常占用者,再考虑 pg_terminate_backend。终止连接会让正在进行的事务回滚,因此必须把业务影响纳入判断。

sql
SELECT pg_cancel_backend(<PID>);

预期结果

text
 pg_cancel_backend
-------------------
 t

若取消后会话仍持续占用资源,并且已经确认可以接受事务断开,再执行终止连接。

sql
SELECT pg_terminate_backend(<PID>);

预期结果

text
 pg_terminate_backend
----------------------
 t

用恢复信号判断是否可以放量

止损完成后至少同时观察四类信号:入口流量与错误率、应用池等待、PostgreSQL 会话状态、关键业务成功率。数据库 sessions 已经下降,但应用仍有大量 waiting,说明连接池或上游请求压力尚未恢复;反过来,连接池恢复正常而业务错误率继续升高,则连接风暴可能只是结果而非根因。

可以用一个简单的会话分布查询持续验证趋势。

sql
SELECT
    state,
    COUNT(*) AS sessions
FROM pg_stat_activity
WHERE pid <> pg_backend_pid()
GROUP BY state
ORDER BY sessions DESC;

预期结果

text
 state  | sessions
--------+----------
 idle   | <VALUE>
 active | <VALUE>

恢复阶段不要一次把流量和连接池都恢复到事故前峰值。更稳妥的做法是逐步放量,每一步都确认数据库 sessions、应用池 waiting 和业务成功率没有再次向危险方向移动。

形成可执行的止损闭环

一次完整演练应最终得到一条固定顺序:先限制新增压力,再降低连接产生速度;随后识别异常会话,只清理有证据支持的对象;最后通过多层指标确认稳定后逐步放量。这样做的重点是保护剩余资源和避免二次放大,而不是追求某一个连接数指标尽快归零。

当恢复动作可以被重复执行、每一步都有观测指标和回退条件时,连接风暴才真正从临时救火变成可操作的生产处置流程。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

执行线上止损恢复

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通