编码与格式 / 系统课时

建立数据包队列与渲染帧队列

建立数据包队列与渲染帧队列

播放器同时面对网络读取、解码和画面显示三种不同速度的任务。如果让它们在同一线程中相互等待,就容易出现卡顿甚至界面无响应。本篇将建立压缩数据包队列与解码帧队列,明确容量、阻塞和背压规则,并通过一个可运行的示例验证队列行为。

学习目标

  • 区分 Packet Queue 和 Frame Queue 的数据类型、生产者、消费者及内存成本。
  • 能用线程安全的有界队列连接读取、解码和渲染阶段。
  • 能设置容量与背压策略,处理暂停、缓冲和退出时的队列行为。

两级队列分别存放什么

典型播放器至少包含三个执行阶段:Demux 从媒体容器中读取压缩数据包,Decoder 将压缩包还原为音视频帧,Renderer 按播放时钟显示画面或提交音频采样。三个阶段运行速度不同,需要用队列解耦。

播放器双队列生产消费架构

比较项 Packet Queue Frame Queue
存储内容 压缩音视频数据包 解码后的图像或音频帧
生产者 Demux 线程 Decode 线程
消费者 Decode 线程 Render 或音频输出线程
常用时间信息 PTS、DTS、duration PTS、duration
内存特点 大小随码率波动 视频帧通常占用较大且相对固定

以 1920×1080、YUV420P、8 位视频为例,单帧像素数据约为 1920×1080×1.5,即 3.11 MB(十进制)。若缓存 12 帧,单纯像素数据就约占 37.3 MB,尚未计算行对齐、帧对象和其他缓冲。因此视频 Frame Queue 往往比压缩包队列更需要控制内存。

生产者消费者模型允许读取线程短暂领先于解码线程,也允许解码线程提前准备待显示画面。但两级队列只负责缓冲和线程交接,不能替代时间戳同步。

用有界队列实现生产者消费者

下面使用 Python 3.10+ 标准库模拟视频读取、解码与渲染。示例中的 Packet 和 Frame 是教学用数据结构,不是真实 FFmpeg 的 AVPacket 与 AVFrame;队列的阻塞语义与真实播放器相同。

python
import queue
import threading
import time
from dataclasses import dataclass


@dataclass(frozen=True)
class Packet:
    pts_ms: int
    size: int


@dataclass(frozen=True)
class Frame:
    pts_ms: int


packet_queue = queue.Queue(maxsize=4)
frame_queue = queue.Queue(maxsize=2)
EOF = object()


def demux():
    for index in range(6):
        packet = Packet(pts_ms=index * 40, size=1200)
        # 队列满时等待消费者释放空间,不无限增加缓存。
        packet_queue.put(packet)
    packet_queue.put(EOF)


def decode():
    while True:
        packet = packet_queue.get()
        if packet is EOF:
            packet_queue.task_done()
            frame_queue.put(EOF)
            break
        # 用时间戳转换模拟解码;实际解码可能一包产生多帧。
        frame_queue.put(Frame(pts_ms=packet.pts_ms))
        packet_queue.task_done()


def render():
    while True:
        frame = frame_queue.get()
        if frame is EOF:
            frame_queue.task_done()
            break
        print(f"render pts={frame.pts_ms}ms")
        time.sleep(0.01)
        frame_queue.task_done()


threads = [
    threading.Thread(target=demux),
    threading.Thread(target=decode),
    threading.Thread(target=render),
]
for thread in threads:
    thread.start()
for thread in threads:
    thread.join()
print("playback finished")

预期输出:

text
render pts=0ms
render pts=40ms
render pts=80ms
render pts=120ms
render pts=160ms
render pts=200ms
playback finished

程序中 Packet Queue 容量为 4,Frame Queue 容量为 2。Queue.put() 在队列满时阻塞,Queue.get() 在队列空时阻塞,内部锁和条件变量保证多线程访问安全。运行结果保持 PTS 顺序,不依赖线程的具体调度顺序。

EOF 是结束标记,用于通知下游不再有新数据。每个消费者必须识别结束标记,而不能把它当成普通数据处理。示例为单生产者、单消费者队列;若多个消费者共享同一队列,结束信号数量和传播协议也必须相应调整。

如何估算容量与建立背压

队列必须有上限,但容量不能只按对象数量确定。Packet Queue 更适合同时限制字节数和缓冲时长,Frame Queue 通常限制帧数与内存预算。

假设视频码率为 4 Mbit/s,计划缓存 2 秒压缩数据,则压缩视频数据约为 1 MB。考虑码率波动、音频包和封装开销,可以先为压缩包缓存配置 2~4 MB 的总字节预算,再通过实际媒体测试调整。

对于 25 FPS 视频,每帧间隔约 40 ms。设置 5 帧的 Frame Queue,可容纳约 200 ms 的视频帧时间跨度;若为前面示例的 1080p YUV420P 帧,像素数据预算约为 15.6 MB。

队列状态 处理策略 目的
Packet Queue 满 Demux 等待空间 阻止读取持续占用内存
Packet Queue 空 Decoder 等待数据 避免无效轮询
Frame Queue 满 Decoder 暂停提交新帧 避免解码后帧堆积
Frame Queue 空 Renderer 等待或进入缓冲状态 避免读取无效帧

背压是下游处理能力不足时,让上游减速的机制。例如渲染线程处理缓慢,Frame Queue 首先填满,随后解码线程阻塞,Packet Queue 最终也可能填满,读取线程随之等待。这是有界队列的正常保护行为,不应直接判断为死锁。

暂停、拖动与退出如何处理

实际播放器还需要处理播放状态变化。只依赖阻塞式 put() 和 get() 而没有唤醒机制,可能使工作线程在退出时永久等待。

建议明确以下操作约定:

  1. 暂停播放:停止或延缓渲染时钟推进,允许队列在限定容量内缓存;如果 Frame Queue 已满,解码自然被背压阻塞。
  2. 恢复播放:通知等待的渲染线程,并根据当前时钟继续按 PTS 消费帧。缓存内容仍有效时不必清空。
  3. Seek 拖动:先建立新播放代次,停止接受旧代次结果,清理 Packet Queue 与 Frame Queue,执行解码器 flush,然后从新的媒体位置重新读取、解码和输出。
  4. 退出播放:设置停止标记,广播唤醒所有等待线程,等待工作线程结束,再释放队列中的媒体资源。

播放器队列控制状态流程

如果采用 FFmpeg,压缩包通常通过 av_packet_ref() 等引用管理 API 安全地交给队列,取出后由对应持有者调用 av_packet_unref();解码帧也应使用引用计数语义管理生命周期。不能仅复制 AVPacket 或 AVFrame 结构体后就假定缓冲区所有权已经正确转移。

真实解码还必须处理一个输入包对应零帧、多帧,以及解码器内部缓存帧的情况。Seek 后应同时过滤旧播放代次的异步输出,避免旧画面在新位置短暂闪现。

检查队列是否真正稳定

为两个队列记录当前元素数、累计字节数、缓存时间跨度和生产者等待时间。每秒采样一次,在正常播放、网络抖动、暂停和拖动四种情况下观察变化。

可采用以下初始验收条件:正常连续播放 60 秒时,队列长度始终不超过配置上限;模拟渲染变慢后,读取线程最终进入等待状态而不是持续增加内存;执行 Seek 后,新位置不再显示旧代次帧;停止时所有工作线程都能退出。

还应分别测试 Packet Queue 为空、Frame Queue 为空以及两个队列接近满载的情况。空队列持续出现通常意味着供给不足,满队列长期持续则可能意味着下游处理能力不足。排查时同时记录 PTS 与实际播放时钟差值,避免将同步问题误判成缓存不足。

对于点播播放器,阻塞式有界队列是可靠的默认选择;对于低延迟直播,过期帧可能需要按延迟预算主动丢弃,但必须结合关键帧依赖、音画同步和解码状态设计策略,不能随意从压缩队列删除任意视频包。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立数据包队列与渲染帧队列

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通