PostgreSQL / 系统课时
执行线上止损恢复
执行线上止损恢复
线上连接风暴处置的目标不是把连接数瞬间清零,而是先阻止新增压力,再释放可安全回收的资源,最后恢复稳定的连接获取能力。本课按“限流→收缩池→清理异常会话→验证恢复”的顺序演练,并明确哪些动作不能直接执行。
学习目标
- 能按风险从低到高组织连接风暴的止损顺序。
- 能区分应用池调整、流量限制和 PostgreSQL 会话终止的适用场景。
- 能使用连接数、拒绝数、会话状态和业务成功率验证恢复,而不是只看数据库连接数下降。
先冻结新增压力
止损第一步应让系统停止继续扩大连接占用。最常见的方法是降低入口流量、暂停非核心任务,或临时降低应用实例的并发度。此时不要急着把数据库连接池调到极小值,因为已有请求可能正持有连接,突然缩池只会让更多请求在应用侧等待。
应先记录当前基线,例如入口 QPS、连接池 active/idle/waiting、代理后端连接和 PostgreSQL sessions。每次只改变一个主要变量,这样恢复后才能判断哪个动作真正生效。
收缩连接池而不是直接清空连接
当新增流量已经受控,再把连接池上限降到数据库可以稳定承受的范围。常见连接池通常支持运行时或配置级别调整;若当前环境不支持动态收缩,应采用滚动重启或实例摘流方式逐步生效,而不是一次性重启所有实例。
例如某服务当前有 8 个实例,每个实例数据库连接上限为 80。若数据库已处于连接压力状态,可以先把单实例上限调整到 <VALUE>,并观察连接总量是否开始下降。最终值必须结合数据库容量、请求并发和 SQL 平均持有连接时间确定,不能机械套用固定比例。
连接池止损顺序
1. 限制新增业务流量
2. 降低单实例连接池上限
3. 观察等待连接与数据库会话变化
4. 仅对确认异常的会话执行终止
5. 恢复流量并逐步扩大池容量预期结果
入口流量下降后:新增连接增速停止
连接池收缩后:waiting 值先可能上升,随后 active 与数据库 sessions 逐步下降这里要注意,连接池收缩后的短时间内出现等待并不一定代表动作失败。真正的判断标准是压力是否停止继续扩大,以及数据库是否重新获得资源余量。
谨慎处理 PostgreSQL 异常会话
确认连接主要来自异常实例后,可以进一步筛选长期异常会话。优先处理明确卡住、明显失去业务上下文或已经超过既定操作时限的连接;不要按“最老连接”这一单一条件批量清理。
可以先用查询生成候选 PID,而不是直接执行终止操作。
SELECT
pid,
usename,
application_name,
client_addr,
state,
now() - xact_start AS xact_age,
now() - query_start AS query_age,
left(query, 120) AS query_sample
FROM pg_stat_activity
WHERE pid <> pg_backend_pid()
AND state IN ('active', 'idle in transaction')
ORDER BY COALESCE(xact_start, query_start) NULLS LAST
LIMIT 20;预期结果
pid | usename | application_name | client_addr | state | xact_age | query_age | query_sample
-------+---------+------------------+-------------+---------------------+----------+-----------+-------------
<PID> | app | api | <IP> | idle in transaction | <TIME> | <TIME> | <SQL>
<PID> | app | api | <IP> | active | <TIME> | <TIME> | <SQL>确认后才执行精确终止。pg_cancel_backend 更适合先取消当前查询;若会话本身已经成为异常占用者,再考虑 pg_terminate_backend。终止连接会让正在进行的事务回滚,因此必须把业务影响纳入判断。
SELECT pg_cancel_backend(<PID>);预期结果
pg_cancel_backend
-------------------
t若取消后会话仍持续占用资源,并且已经确认可以接受事务断开,再执行终止连接。
SELECT pg_terminate_backend(<PID>);预期结果
pg_terminate_backend
----------------------
t用恢复信号判断是否可以放量
止损完成后至少同时观察四类信号:入口流量与错误率、应用池等待、PostgreSQL 会话状态、关键业务成功率。数据库 sessions 已经下降,但应用仍有大量 waiting,说明连接池或上游请求压力尚未恢复;反过来,连接池恢复正常而业务错误率继续升高,则连接风暴可能只是结果而非根因。
可以用一个简单的会话分布查询持续验证趋势。
SELECT
state,
COUNT(*) AS sessions
FROM pg_stat_activity
WHERE pid <> pg_backend_pid()
GROUP BY state
ORDER BY sessions DESC;预期结果
state | sessions
--------+----------
idle | <VALUE>
active | <VALUE>恢复阶段不要一次把流量和连接池都恢复到事故前峰值。更稳妥的做法是逐步放量,每一步都确认数据库 sessions、应用池 waiting 和业务成功率没有再次向危险方向移动。
形成可执行的止损闭环
一次完整演练应最终得到一条固定顺序:先限制新增压力,再降低连接产生速度;随后识别异常会话,只清理有证据支持的对象;最后通过多层指标确认稳定后逐步放量。这样做的重点是保护剩余资源和避免二次放大,而不是追求某一个连接数指标尽快归零。
当恢复动作可以被重复执行、每一步都有观测指标和回退条件时,连接风暴才真正从临时救火变成可操作的生产处置流程。