C / C++ / 系统课时

为什么不能每个任务都创建线程

为什么不能每个任务都创建线程

为每个短任务直接创建一个线程看起来最简单,但任务数量增长后,线程创建与销毁、栈和内核资源、调度切换都会成为额外负担。线程池通过复用固定数量的工作线程,把任务数量与并发线程数量分离开。

学习目标

  • 理解按任务创建线程在高并发下产生的资源与调度成本
  • 明确任务数量和实际并行线程数量为什么不应该一一对应
  • 理解线程池通过固定工作线程和任务队列解决什么问题

一个任务一个线程的问题

在主流 C++ 实现中,std::thread 通常对应原生操作系统线程。创建线程需要建立线程运行所需的数据结构和栈空间,退出时还需要回收这些资源。对于运行几毫秒的任务,线程管理成本可能已经不可忽略。

线程数量超过可用 CPU 核心后,并不会凭空增加计算能力。大量可运行线程需要轮流获得 CPU,调度器必须不断保存和恢复执行上下文。对于 CPU 密集型任务,过多线程甚至可能降低吞吐量。

线程栈还会消耗虚拟地址空间及相关系统资源。栈的预留空间并不等于全部立即占用物理内存,但线程数量持续增长仍然会受到进程和操作系统资源上限约束。

每任务创建线程与线程池执行模型对比

用固定工作线程处理多项任务

下面用 64 个短任务对比两种组织方式。第一阶段创建 64 个线程;第二阶段只创建 4 个工作线程,让它们反复取得下一个任务。示例用原子索引代替正式任务队列,目的是只观察线程数量如何被限制。

cpp
#include <atomic>
#include <chrono>
#include <iostream>
#include <thread>
#include <vector>

void doTask() {
    std::this_thread::sleep_for(std::chrono::milliseconds(5));
}

int main() {
    constexpr int kTasks = 64;
    constexpr int kWorkers = 4;

    std::atomic<int> directCompleted{0};
    std::vector<std::thread> threads;

    // 每个任务创建一个线程,任务数直接决定线程数。
    for (int i = 0; i < kTasks; ++i) {
        threads.emplace_back([&] {
            doTask();
            ++directCompleted;
        });
    }
    for (auto& thread : threads) {
        thread.join();
    }

    std::atomic<int> nextTask{0};
    std::atomic<int> pooledCompleted{0};
    threads.clear();

    // 固定数量的工作线程重复取得任务,模拟线程池的核心执行方式。
    for (int i = 0; i < kWorkers; ++i) {
        threads.emplace_back([&] {
            while (true) {
                const int task = nextTask.fetch_add(1);
                if (task >= kTasks) {
                    break;
                }
                doTask();
                ++pooledCompleted;
            }
        });
    }
    for (auto& thread : threads) {
        thread.join();
    }

    std::cout << "per_task_threads=" << kTasks
              << ", completed=" << directCompleted.load() << std::endl;
    std::cout << "pooled_workers=" << kWorkers
              << ", completed=" << pooledCompleted.load() << std::endl;
}

预期输出:

text
per_task_threads=64, completed=64
pooled_workers=4, completed=64

两种方式都完成 64 个任务,但第二种方式只需要 4 个长期存在的工作线程。真正的线程池通常会把待执行工作放进线程安全的任务队列,并让空闲工作线程在条件变量等同步机制上等待新任务。

线程池真正控制的是并发度

线程池不是为了让所有任务同时运行,而是为了限制同时运行的线程数量。假设瞬间到来一万个任务,可以让任务先排队,而不是立即创建一万个线程。这样系统资源消耗由工作线程数量决定,而不是由突发任务数量直接决定。

对 CPU 密集型工作,工作线程数量通常围绕可用 CPU 并行度选择,再通过实测调整。对包含阻塞 I/O 的任务,可以允许更多工作线程,但仍应设置明确上限,避免下游变慢时线程数量失控。

线程池还能够集中处理任务取消、异常、关闭和背压等问题。任务生产速度长期高于处理速度时,真正需要解决的是队列持续增长,而不是继续增加线程掩盖容量不足。

哪些任务不值得单独创建线程

生命周期很短、数量可能突发增长,并且彼此执行方式相似的任务,通常更适合提交给线程池。服务端请求处理、批量小计算和后台作业都是常见场景。

如果程序只需要启动少量长期线程,并且这些线程拥有明确职责,例如专用事件循环或设备采集线程,直接管理线程反而可能更简单。关键不是禁止使用 std::thread,而是避免让任务数量无上限地决定线程数量。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

为什么不能每个任务都创建线程

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通