PostgreSQL / 技术文章
PostgreSQL 连接为什么会耗尽
这篇文章面向后端工程师、DBA 和 SRE,解决一个常见问题:应用请求量没有高到不可承受,PostgreSQL 却先出现新连接失败、连接池获取超时或可用连接迅速下降。理解数据库连接到底是什么、连接为什么会被占满,以及多个应用实例如何把连接数放大后,你可以判断耗尽发生在哪一层,并区分容量不足、连接滥用和会话异常这几类根因。
一个连接到底占什么资源
PostgreSQL 的客户端连接对应数据库服务端的一个会话以及一个后端进程。连接建立后,即使当前没有执行 SQL,只要会话仍然存在,它通常仍会占用一个连接槽位,并伴随进程、内存以及相关的会话状态。
因此,“当前 SQL 并发不高”和“当前连接很多”并不是同一个指标。几十个请求可能只复用少量连接,也可能因为连接池、连接创建策略或应用实例数量较大而长期维持数百个会话。
连接生命周期可以简单看成:
- 客户端建立连接并完成认证。
- 服务端为会话创建对应的后端执行上下文。
- 会话反复执行事务和 SQL,或者暂时处于空闲状态。
- 客户端关闭连接,服务端回收对应资源。
真正决定连接是否持续占位的,不是“有没有正在跑 SQL”,而是“这个会话是否仍然存在”。这也是为什么大量 idle 连接仍可能让新客户端无法继续建立连接。
连接耗尽的核心约束是连接槽位
PostgreSQL 使用 max_connections 限制服务器允许的并发客户端连接规模。这个参数决定的是连接容量上限,而不是吞吐能力上限,更不是建议的并发请求数。
实际可用连接数还要考虑超级用户等预留连接。普通业务连接并不能简单理解为可以无条件使用 max_connections 的全部数值,因此在排障时应直接观察当前会话分布,而不是只看配置文件里的一个数字。
可以先执行:
SHOW max_connections;
SELECT state, count(*) AS connections
FROM pg_stat_activity
GROUP BY state
ORDER BY connections DESC;预期结果:
max_connections
-----------------
200
state | connections
-----------+------------
idle | 120
active | 35
...这里最重要的是比较“已存在连接总量”和“允许的连接容量”,并进一步看这些连接都处于什么状态。单纯看到 active 不高,并不能证明连接容量没有问题。
为什么连接池会让连接数突然放大
连接池解决的是“每个请求都重新建立数据库连接”的问题,但连接池本身并不会自动保证数据库连接总量合理。
假设部署了 10 个应用实例,每个实例配置最大 30 个数据库连接,那么理论上的数据库连接上限可以达到:
如果 PostgreSQL 的业务连接容量明显小于 300,应用侧只要逐步把池填满,数据库连接就可能先成为瓶颈。
这就是典型的连接放大:数据库看到的连接数,往往不是单个应用实例的池大小,而是多个实例、多个进程、多个工作负载连接池上限的总和。再叠加管理脚本、后台任务、临时作业或其他服务,最终占用量可能远超最初的直觉。
因此判断连接容量时,至少应该把下面几个维度放在一起看:应用实例数、每实例连接池上限、任务类进程连接池、连接代理以及数据库自身预留容量。
连接很多,不代表都在工作
连接耗尽最容易误判的地方,是把“连接存在”直接等同于“连接正在执行”。实际上,pg_stat_activity 中可能同时存在多种状态。
active 表示当前会话正在执行某个活动;idle 表示会话已经完成当前工作并处于空闲状态;idle in transaction 则更值得关注,因为它意味着事务已经开启,但当前没有正在执行 SQL,事务边界仍然没有结束。
例如可以查看连接、事务状态和最近活动:
SELECT pid,
usename,
application_name,
client_addr,
state,
xact_start,
state_change,
wait_event_type,
wait_event,
LEFT(query, 120) AS query
FROM pg_stat_activity
WHERE backend_type = 'client backend'
ORDER BY xact_start NULLS LAST, state_change;预期结果:
pid | usename | application_name | state | wait_event_type | wait_event
------+---------+------------------+---------------------+-----------------+-----------
8121 | app | api-01 | idle | |
8122 | app | api-01 | active | |
8123 | app | worker | idle in transaction | |如果大量连接是 idle,首先要问的是为什么应用需要长期保留这么多池连接;如果大量连接是 idle in transaction,则还要检查事务边界、异常处理和业务代码是否存在未提交或未回滚的事务。
连接耗尽通常不是单点故障
线上出现“too many connections”时,根因往往是一条逐步放大的链路,而不是数据库突然失控。
一种常见链路是:请求增加 → 应用并发增加 → 连接池尝试扩容 → 多实例同时创建连接 → 数据库连接槽位快速减少 → 新请求获取连接变慢 → 应用线程或协程继续堆积 → 更多连接长期占用,最终形成连接耗尽。
另一种链路来自异常会话:连接池释放不及时、事务没有正确结束、网络或应用异常导致连接长期存活,都会使“理论池上限”和“实际有效工作连接”逐渐偏离。
所以排查时不要只追一个数字。应该同时回答三个问题:
- 数据库当前有多少客户端连接?
- 这些连接主要被谁占用、处于什么状态?
- 应用侧为什么需要建立或长期保留这么多连接?
只有把数据库会话和应用连接池对应起来,才能判断真正的瓶颈在哪一层。
为什么盲目提高 max_connections 往往不是根治
看到连接耗尽后,最直观的动作是提高 max_connections。这个动作有时能短期缓解拒绝新连接,但它并没有改变连接池的创建逻辑,也没有减少每个连接的资源成本。
如果问题本质上是多实例连接池总量失控,那么把上限继续调高只是把故障点向后移动。连接数继续增长后,数据库还可能在内存、CPU、锁竞争或上下文切换等方面承受更大压力。
更合理的判断顺序是:先确认当前连接构成,再计算应用与其他工作负载可能占用的总连接量,然后检查是否存在大量异常或长期空闲会话,最后才决定是否需要调整数据库容量。
在很多生产环境里,真正有效的治理方向是让连接复用和数据库容量匹配:限制应用池上限,设置合理的连接获取超时,避免每个实例都配置过大的池,并在需要时使用 PgBouncer 等连接池化组件降低数据库后端连接压力。
建立连接耗尽的判断框架
遇到 PostgreSQL 连接耗尽,可以按“容量、来源、状态、增长”四个维度判断。
先看容量:确认 max_connections 以及当前业务可用连接空间。再看来源:按 application_name、用户和客户端地址拆分连接占用,定位是谁把连接吃掉。然后看状态:区分 active、idle 和 idle in transaction,判断是执行压力还是连接长期占位。最后看增长:比较连接数是否持续上升、是否随着应用扩容同步增加,以及故障发生前是否出现连接创建突增。
这个判断框架可以把“数据库连接不够了”进一步拆成几类可操作的问题:数据库容量配置不足、应用连接池总量过大、实例扩容造成连接放大、连接释放异常、长事务占用,以及连接创建风暴。
当你能把这几类情况区分开,连接耗尽就不再只是一个数据库报错,而会变成一条可以观测、定位和治理的资源约束链。