编码与格式 / 系统课时

线程模型设计

线程模型设计

音视频链路同时包含采集、编解码、网络传输和渲染。把所有任务塞进一个线程会互相阻塞,而线程拆得过细又会增加切换和同步成本。本课将建立一套可落地的线程边界,并用有界队列实现背压和安全退出。

学习目标

  • 能按实时性、阻塞特征和数据所有权划分线程
  • 能用有界队列连接采集、编码与发送阶段
  • 能识别线程饥饿、队列堆积和退出死锁

先确定线程边界

线程划分不应简单等同于“一个模块一个线程”,而应优先看任务是否会阻塞、是否要求固定调用线程,以及延迟能否相互影响。

采集线程负责从摄像头或麦克风读取原始帧,必须尽快返回,不能在其中执行复杂编码。编解码线程通常持续占用 CPU,可按音频、视频分别设置工作线程。网络线程会等待套接字,适合独立运行。渲染线程往往受窗口系统约束,应在指定线程消费已经解码的帧。

一个常见的实时链路是“采集线程 → 编码线程 → 网络线程”,接收方向则是“网络线程 → 解码线程 → 渲染线程”。阶段之间通过有界队列传递帧,队列满时触发等待、丢帧或降级策略,而不是无限积压。

音视频线程流水线与背压关系

用有界队列连接阶段

下面的 C++17 示例使用两个容量为 2 的阻塞队列,把采集、编码和发送拆成三个线程。特殊值 -1 作为结束标记,确保下游能够依次退出。

cpp
#include <atomic>
#include <condition_variable>
#include <cstddef>
#include <iostream>
#include <mutex>
#include <queue>
#include <thread>

class BoundedQueue {
public:
    explicit BoundedQueue(std::size_t capacity) : capacity_(capacity) {}

    void push(int value) {
        std::unique_lock<std::mutex> lock(mutex_);
        not_full_.wait(lock, [&] { return queue_.size() < capacity_; });
        queue_.push(value);
        not_empty_.notify_one();
    }

    int pop() {
        std::unique_lock<std::mutex> lock(mutex_);
        not_empty_.wait(lock, [&] { return !queue_.empty(); });
        int value = queue_.front();
        queue_.pop();
        not_full_.notify_one();
        return value;
    }

private:
    std::size_t capacity_;
    std::queue<int> queue_;
    std::mutex mutex_;
    std::condition_variable not_empty_;
    std::condition_variable not_full_;
};

int main() {
    BoundedQueue raw_frames(2);
    BoundedQueue encoded_frames(2);
    std::atomic<int> captured{0};
    std::atomic<int> encoded{0};
    std::atomic<int> sent{0};

    std::thread capture([&] {
        for (int frame = 1; frame <= 5; ++frame) {
            raw_frames.push(frame);
            ++captured;
        }
        raw_frames.push(-1);
    });

    std::thread encoder([&] {
        while (true) {
            int frame = raw_frames.pop();
            if (frame == -1) {
                encoded_frames.push(-1);
                break;
            }
            encoded_frames.push(frame * 10);
            ++encoded;
        }
    });

    std::thread network([&] {
        while (true) {
            int packet = encoded_frames.pop();
            if (packet == -1) {
                break;
            }
            ++sent;
        }
    });

    capture.join();
    encoder.join();
    network.join();

    std::cout << "captured=" << captured
              << " encoded=" << encoded
              << " sent=" << sent << '\n';
}

编译并运行:

bash
g++ -std=c++17 -pthread main.cpp -o thread_pipeline
./thread_pipeline

预期输出:

text
captured=5 encoded=5 sent=5

有界队列让慢下游把压力传回上游,避免内存无限增长。实际项目中,视频采集通常不能长期阻塞,可在队列满时优先丢弃旧的非关键帧;音频则更强调连续性,可采用短暂等待或降低处理复杂度。

退出与异常处理

退出顺序应沿数据流传播:生产者停止产生新帧,向下游发送结束标记,下游处理完已入队数据后再退出。若先销毁队列或直接终止中间线程,其他线程可能永久等待。

异常也应转化为可传播状态。某个阶段失败时,可以设置共享停止标志并唤醒所有条件变量;每个线程在阻塞前后都检查该标志。不要依赖强制结束线程,因为它可能让锁、缓冲区和设备句柄停留在不一致状态。

观察线程是否健康

至少记录每个队列的当前长度、峰值长度、入队等待时间和丢帧数。若原始帧队列持续接近上限,问题通常在编码速度;若编码后队列堆积,问题更可能出在网络带宽或发送阻塞。

线程数也不是越多越好。CPU 密集型编码线程通常以核心数和编码器内部并行度为上限;I/O 线程主要用于隔离阻塞。测量端到端延迟和上下文切换次数,比单独追求某个阶段吞吐量更可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

线程模型设计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通