游戏客户端架构 / 系统课时

并发压力下池为什么会失效

并发压力下池为什么会失效

对象池在单线程或低负载下表现稳定,并不代表它能扛住并发峰值。瞬时请求超过容量、扩容路径变慢、跨线程访问不安全,以及异步任务迟迟不归还对象,都会让命中率骤降甚至产生数据错误。本节给出一套从指标到生命周期边界的定位顺序。

学习目标

  • 判断并发峰值为何会让对象池从复用退化成等待或临时创建
  • 识别线程安全、异步归还和重复归还等常见失效方式
  • 用峰值占用、等待时间和未归还数量定位真正瓶颈

先看容量能不能覆盖瞬时并发

池容量是 100,不等于每秒只能处理 100 次请求。真正重要的是同一时刻有多少对象正在被占用。如果 300 个任务在很短时间内同时申请,而前 100 个任务尚未归还对象,后续请求只能等待、失败或走临时创建路径。

并发突发请求超过池容量后产生等待、临时创建和异步归还

下面的可运行示例把容量固定为 2,同时启动 4 个任务。成功拿到对象的任务占用 200 ms,而等待超时只有 50 ms,因此最终会出现 2 次命中和 2 次未命中。

java
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.atomic.AtomicInteger;

public class ConcurrentPoolDemo {
    public static void main(String[] args) throws Exception {
        ArrayBlockingQueue<Object> pool = new ArrayBlockingQueue<>(2);
        pool.add(new Object());
        pool.add(new Object());

        ExecutorService executor = Executors.newFixedThreadPool(4);
        CountDownLatch ready = new CountDownLatch(4);
        CountDownLatch start = new CountDownLatch(1);
        CountDownLatch done = new CountDownLatch(4);
        AtomicInteger hits = new AtomicInteger();
        AtomicInteger misses = new AtomicInteger();

        for (int i = 0; i < 4; i++) {
            executor.submit(() -> {
                ready.countDown();
                try {
                    start.await();
                    Object value = pool.poll(50, TimeUnit.MILLISECONDS);
                    if (value == null) {
                        misses.incrementAndGet();
                        return;
                    }

                    hits.incrementAndGet();
                    // 持有时间故意超过其他请求的等待窗口。
                    Thread.sleep(200);
                    pool.put(value);
                } catch (InterruptedException e) {
                    Thread.currentThread().interrupt();
                } finally {
                    done.countDown();
                }
            });
        }

        ready.await();
        start.countDown();
        done.await();
        executor.shutdown();

        System.out.println("hits=" + hits.get());
        System.out.println("misses=" + misses.get());
        System.out.println("availableAfterReturn=" + pool.size());
    }
}

预期输出:

text
hits=2
misses=2
availableAfterReturn=2

这类现象说明池没有真正“坏掉”,而是容量没有覆盖当前的并发占用时间窗。扩大池可以缓解问题,但如果任务本身持有对象太久,盲目扩容只会把延迟问题转化成内存问题。

扩容和锁竞争也会让池失去意义

很多池在未命中时会创建新对象。如果创建动作本身昂贵,那么压力越大,越容易出现大量线程同时进入慢路径:一边等待同步,一边执行昂贵构造,最终延迟甚至可能高于不用池的方案。

线程安全也不能只看“是否使用了并发容器”。如果池外还有计数器、空闲链表、对象状态位等共享数据,获取和归还必须保持一致。常见异常包括同一对象被两个线程同时借出、重复归还使池中出现重复引用,以及统计值与真实队列长度不一致。

异步回调是最容易漏掉的边界

同步代码通常可以在 finally 中归还对象,生命周期比较清楚。异步任务则可能在另一个线程、另一个事件循环甚至更晚的帧才完成。如果调用方提交任务后立刻归还对象,后续回调继续访问它,就可能读到被下一位借用者改写的数据。

另一个方向是“永远不归还”:请求取消、超时、异常路径或回调丢失,使对象一直停留在使用中。随着未归还数量增加,池会逐渐从高命中率退化为持续未命中。

因此异步场景必须明确所有权:谁获取、谁最终归还、取消时谁负责清理、回调在哪个线程执行。若池本身要求线程亲和,还必须把归还动作切回指定线程,而不是在任意回调线程直接操作。

按指标顺序定位而不是直接扩容

排查并发池化异常时,先观察 peakInUse 是否接近上限,再看 acquireWait 和 poolMiss 是否同时升高。如果峰值占用长期贴着容量上限,说明容量或持有时间存在问题;如果占用并不高却等待很长,则更像是锁竞争或池内部慢路径。

接着检查 outstandingAsync 是否持续增长,以及“获取次数减归还次数”能否在稳定期回到零。若不能回零,应优先检查取消、异常和回调路径,而不是继续扩大池。

最后比较调整前后的真实收益:池命中率是否提高、P95/P99 延迟是否下降、临时创建是否减少、内存是否仍在预算内。只有这些指标一起改善,扩容才算有效。

并发场景下,对象池真正需要控制的是峰值占用、持有时间以及线程或异步边界。只盯着池容量,会把症状当根因;把命中、等待、未归还和对象所有权一起观测,才能判断是容量不足、慢路径过重,还是生命周期管理已经失效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

并发压力下池为什么会失效

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通