PostgreSQL / 系统课时

容量规划与压测

容量规划与压测

容量规划不是先猜“需要几核几 G”,而是把数据增长、TPS、连接数、延迟与 CPU、内存、磁盘 I/O 水位放到同一条基线上,再用可重复压测验证安全余量。本节给出从采集基线到估算峰值、再到 pgbench 验证的最小闭环。

学习目标

  • 建立容量规划需要长期记录的五类核心基线
  • 用峰值而不是平均值估算连接、吞吐与存储余量
  • 使用 pgbench 做可重复压测,并判断结果是否碰到资源瓶颈

先把容量问题量化

容量规划至少要同时观察业务负载和数据库资源。业务侧记录数据量、峰值 TPS、并发连接和关键 SQL 的 P95/P99 延迟;资源侧记录 CPU 利用率、可用内存、磁盘吞吐与 IOPS、WAL 产生速度以及检查点压力。

基线 重点问题
数据量与增长率 现有空间还能支撑多久
峰值 TPS 高峰吞吐离系统拐点多远
连接数 连接池和数据库是否留有余量
P95/P99 延迟 负载增加是否已影响体验
CPU、内存、I/O 真正先饱和的是哪类资源

先在相对稳定的生产时段采一组基线。下面的查询把当前数据库大小、连接数和事务累计量放在同一份结果里,适合作为日常采样脚本的一部分。

sql
SELECT
    now() AS sampled_at,
    pg_size_pretty(pg_database_size(current_database())) AS database_size,
    (SELECT count(*) FROM pg_stat_activity) AS connections,
    xact_commit,
    xact_rollback
FROM pg_stat_database
WHERE datname = current_database();

预期结果

text
sampled_at | database_size | connections | xact_commit | xact_rollback
<TIME>     | <VALUE>       | <VALUE>     | <VALUE>     | <VALUE>

事务计数是累计值,真正的 TPS 要用两次采样的事务增量除以时间间隔计算;单次快照不能直接当成 TPS。数据库大小也要按天或按周记录增量,才能得到可用于预测的数据增长速度。

用峰值和增长率预留余量

平均负载经常掩盖风险。容量估算应优先使用业务高峰的 P95 或 P99,而不是全天平均值,并给资源留出扩容和故障切换空间。例如稳定运行时 CPU 长时间接近 90%,即使延迟暂时可接受,也说明系统缺少突发流量余量。

存储可以用“当前占用 + 预测增长 + 维护空间”来估算。除了表和索引,还要给 WAL、临时文件、VACUUM、重建索引以及升级复制预留空间。连接数则不要简单把应用实例数乘以最大连接池大小;真正要核对的是峰值活跃连接、空闲连接和数据库 max_connections 之间的差距。

用 pgbench 建立可复现压测

压测环境要固定 PostgreSQL 版本、参数、数据规模、客户端数量、线程数和持续时间。下面假设 benchdb 已经用固定 scale 初始化完成,只改变并发参数进行比较,避免把数据规模变化混进结果。

bash
pgbench -c 32 -j 8 -T 60 -P 10 benchdb

预期输出

text
progress: 10.0 s, <VALUE> tps, lat <VALUE> ms stddev <VALUE>
...
transaction type: <builtin: TPC-B (sort of)>
number of clients: 32
number of threads: 8
duration: 60 s
latency average = <VALUE> ms
tps = <VALUE> (without initial connection time)

实际 TPS 和延迟取决于硬件、参数与缓存状态,因此只能比较同一环境下的相对变化。压测时应同步采集数据库和操作系统指标,否则只看到 TPS 下降,却不知道是 CPU 饱和、磁盘队列增加,还是锁等待导致。

找到拐点而不是追求最大 TPS

一次压测只得到一个点,容量规划更需要“负载—延迟”曲线。可以逐档提高客户端数量,例如 8、16、32、64,每档保持相同持续时间,记录 TPS、P95/P99 延迟和资源水位。当客户端继续增加但 TPS 增幅明显变小、延迟快速上升时,就接近系统拐点。

如果 CPU 尚有余量但 I/O 等待持续增加,应优先检查缓存命中率、顺序扫描、临时文件和 WAL 写入;如果连接数增长导致上下文切换明显变重,则应先收紧连接池,而不是直接提高 max_connections。

容量结论最终应写成可执行阈值,例如“峰值 TPS 达到当前压测拐点的 70% 时扩容”或“数据库可用磁盘低于未来 30 天增长量加一次维护空间时扩容”。这样容量规划才能从一次性估算变成可持续的运行规则。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

容量规划与压测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通