C / C++ / 系统课时

线程数该按什么因素设置

线程数该按什么因素设置

线程池的线程数不是“CPU 核数乘二”这类固定公式能决定的。真正要看任务是主要消耗 CPU,还是经常等待 I/O,再结合任务粒度、队列长度和上下文切换成本,通过压测找到吞吐量与延迟都可接受的区间。

学习目标

  • 区分 CPU 密集与 I/O 等待型任务的线程数思路
  • 理解任务粒度、队列和上下文切换为什么会影响并发度
  • 用可测量指标而不是固定公式校准线程池大小

先判断线程在忙什么

CPU 密集任务的大部分时间都在执行计算,例如压缩、编码、哈希或图像处理。此时线程数接近可用 CPU 并发度通常更合理,因为继续增加线程不会增加计算资源,只会让更多线程竞争时间片。

I/O 等待型任务则不同。线程可能在等待磁盘、网络或外部服务,CPU 在等待期间可以运行其他线程,所以线程数往往可以高于 CPU 核数。常见的经验式是按“计算时间 + 等待时间”的比例扩大并发度,但它只适合作为初始值,不能替代压测。

cpp
#include <algorithm>
#include <cmath>
#include <iostream>
#include <thread>

int main() {
    unsigned cpu = std::max(1u, std::thread::hardware_concurrency());

    // CPU 密集任务先从可用并发度附近开始。
    unsigned cpuBoundThreads = cpu;

    // 假设一次任务平均等待时间约为计算时间的 3 倍。
    double waitToCompute = 3.0;
    unsigned ioBoundThreads =
        static_cast<unsigned>(std::ceil(cpu * (1.0 + waitToCompute)));

    // 给经验值加上上限,避免仅凭公式造成过度并发。
    ioBoundThreads = std::min(ioBoundThreads, cpu * 4);

    std::cout << "hardware_concurrency=" << cpu << '\n';
    std::cout << "cpu_bound_start=" << cpuBoundThreads << '\n';
    std::cout << "io_bound_start=" << ioBoundThreads << '\n';
}

预期输出

text
hardware_concurrency=<COUNT>
cpu_bound_start=<COUNT>
io_bound_start=<COUNT>

实际数字取决于运行环境;这里的结果只是起始配置,不是最终答案。std::thread::hardware_concurrency() 也只是提示值,容器 CPU 配额、进程亲和性和运行时负载都可能让“可真正使用的 CPU”更少。

再看任务粒度和等待比例

线程数相同,小任务和大任务的效果可能完全不同。任务只有几十微秒时,入队、唤醒、抢锁和调度本身就可能占掉很大比例;任务持续几十毫秒时,这些固定成本相对不明显。

现象 更可能的含义 调整方向
CPU 长时间接近满载,吞吐不再增长 计算资源已饱和 不再增加线程,优先优化任务本身
CPU 利用率低,线程大量阻塞等待 存在明显 I/O 等待 可逐步增加线程并观察吞吐和尾延迟
队列持续变长 消费速度跟不上生产速度 先判断瓶颈,再决定扩线程或限流
上下文切换快速增加,吞吐反而下降 线程过多或任务过碎 减少线程,合并小任务或降低竞争

线程数选择流程

为什么线程越多不一定越快

可运行线程数超过 CPU 可同时执行的数量后,操作系统必须更频繁地保存和恢复寄存器、栈指针以及调度状态。若线程还共享锁、缓存行或内存带宽,过多并发会进一步增加锁竞争与缓存失效。

因此线程数应该与“瓶颈资源”匹配。CPU 密集任务的瓶颈通常是核心与内存带宽;I/O 型任务的瓶颈可能变成连接池、文件描述符、远端服务限流或队列容量。盲目扩线程只是把压力转移到下一个限制点。

用压测找到可接受区间

实际配置时,可以从一个保守值开始,按 1、2、4 或较小步长增加线程数,并保持请求规模与任务类型一致。每一档至少记录吞吐量、平均延迟、P95/P99 延迟、CPU 利用率、队列长度和上下文切换次数。

如果吞吐继续增长且尾延迟稳定,可以继续试;一旦吞吐增长趋缓,而 P99、队列长度或上下文切换明显恶化,就说明已经接近或超过合适区间。最终选取“稳定区间”而不是单次最高吞吐点,通常更适合生产环境。

线程数没有跨场景通用的最佳值。先按 CPU 密集或 I/O 等待确定起点,再用任务粒度、下游容量和压测指标校准,才能把并发度设置成系统真正承受得住的值。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

线程数该按什么因素设置

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通