编码与格式 / 系统课时
建立数据包队列与渲染帧队列
建立数据包队列与渲染帧队列
播放器同时面对网络读取、解码和画面显示三种不同速度的任务。如果让它们在同一线程中相互等待,就容易出现卡顿甚至界面无响应。本篇将建立压缩数据包队列与解码帧队列,明确容量、阻塞和背压规则,并通过一个可运行的示例验证队列行为。
学习目标
- 区分 Packet Queue 和 Frame Queue 的数据类型、生产者、消费者及内存成本。
- 能用线程安全的有界队列连接读取、解码和渲染阶段。
- 能设置容量与背压策略,处理暂停、缓冲和退出时的队列行为。
两级队列分别存放什么
典型播放器至少包含三个执行阶段:Demux 从媒体容器中读取压缩数据包,Decoder 将压缩包还原为音视频帧,Renderer 按播放时钟显示画面或提交音频采样。三个阶段运行速度不同,需要用队列解耦。

| 比较项 | Packet Queue | Frame Queue |
|---|---|---|
| 存储内容 | 压缩音视频数据包 | 解码后的图像或音频帧 |
| 生产者 | Demux 线程 | Decode 线程 |
| 消费者 | Decode 线程 | Render 或音频输出线程 |
| 常用时间信息 | PTS、DTS、duration | PTS、duration |
| 内存特点 | 大小随码率波动 | 视频帧通常占用较大且相对固定 |
以 1920×1080、YUV420P、8 位视频为例,单帧像素数据约为 1920×1080×1.5,即 3.11 MB(十进制)。若缓存 12 帧,单纯像素数据就约占 37.3 MB,尚未计算行对齐、帧对象和其他缓冲。因此视频 Frame Queue 往往比压缩包队列更需要控制内存。
生产者消费者模型允许读取线程短暂领先于解码线程,也允许解码线程提前准备待显示画面。但两级队列只负责缓冲和线程交接,不能替代时间戳同步。
用有界队列实现生产者消费者
下面使用 Python 3.10+ 标准库模拟视频读取、解码与渲染。示例中的 Packet 和 Frame 是教学用数据结构,不是真实 FFmpeg 的 AVPacket 与 AVFrame;队列的阻塞语义与真实播放器相同。
import queue
import threading
import time
from dataclasses import dataclass
@dataclass(frozen=True)
class Packet:
pts_ms: int
size: int
@dataclass(frozen=True)
class Frame:
pts_ms: int
packet_queue = queue.Queue(maxsize=4)
frame_queue = queue.Queue(maxsize=2)
EOF = object()
def demux():
for index in range(6):
packet = Packet(pts_ms=index * 40, size=1200)
# 队列满时等待消费者释放空间,不无限增加缓存。
packet_queue.put(packet)
packet_queue.put(EOF)
def decode():
while True:
packet = packet_queue.get()
if packet is EOF:
packet_queue.task_done()
frame_queue.put(EOF)
break
# 用时间戳转换模拟解码;实际解码可能一包产生多帧。
frame_queue.put(Frame(pts_ms=packet.pts_ms))
packet_queue.task_done()
def render():
while True:
frame = frame_queue.get()
if frame is EOF:
frame_queue.task_done()
break
print(f"render pts={frame.pts_ms}ms")
time.sleep(0.01)
frame_queue.task_done()
threads = [
threading.Thread(target=demux),
threading.Thread(target=decode),
threading.Thread(target=render),
]
for thread in threads:
thread.start()
for thread in threads:
thread.join()
print("playback finished")预期输出:
render pts=0ms
render pts=40ms
render pts=80ms
render pts=120ms
render pts=160ms
render pts=200ms
playback finished程序中 Packet Queue 容量为 4,Frame Queue 容量为 2。Queue.put() 在队列满时阻塞,Queue.get() 在队列空时阻塞,内部锁和条件变量保证多线程访问安全。运行结果保持 PTS 顺序,不依赖线程的具体调度顺序。
EOF 是结束标记,用于通知下游不再有新数据。每个消费者必须识别结束标记,而不能把它当成普通数据处理。示例为单生产者、单消费者队列;若多个消费者共享同一队列,结束信号数量和传播协议也必须相应调整。
如何估算容量与建立背压
队列必须有上限,但容量不能只按对象数量确定。Packet Queue 更适合同时限制字节数和缓冲时长,Frame Queue 通常限制帧数与内存预算。
假设视频码率为 4 Mbit/s,计划缓存 2 秒压缩数据,则压缩视频数据约为 1 MB。考虑码率波动、音频包和封装开销,可以先为压缩包缓存配置 2~4 MB 的总字节预算,再通过实际媒体测试调整。
对于 25 FPS 视频,每帧间隔约 40 ms。设置 5 帧的 Frame Queue,可容纳约 200 ms 的视频帧时间跨度;若为前面示例的 1080p YUV420P 帧,像素数据预算约为 15.6 MB。
| 队列状态 | 处理策略 | 目的 |
|---|---|---|
| Packet Queue 满 | Demux 等待空间 | 阻止读取持续占用内存 |
| Packet Queue 空 | Decoder 等待数据 | 避免无效轮询 |
| Frame Queue 满 | Decoder 暂停提交新帧 | 避免解码后帧堆积 |
| Frame Queue 空 | Renderer 等待或进入缓冲状态 | 避免读取无效帧 |
背压是下游处理能力不足时,让上游减速的机制。例如渲染线程处理缓慢,Frame Queue 首先填满,随后解码线程阻塞,Packet Queue 最终也可能填满,读取线程随之等待。这是有界队列的正常保护行为,不应直接判断为死锁。
暂停、拖动与退出如何处理
实际播放器还需要处理播放状态变化。只依赖阻塞式 put() 和 get() 而没有唤醒机制,可能使工作线程在退出时永久等待。
建议明确以下操作约定:
- 暂停播放:停止或延缓渲染时钟推进,允许队列在限定容量内缓存;如果 Frame Queue 已满,解码自然被背压阻塞。
- 恢复播放:通知等待的渲染线程,并根据当前时钟继续按 PTS 消费帧。缓存内容仍有效时不必清空。
- Seek 拖动:先建立新播放代次,停止接受旧代次结果,清理 Packet Queue 与 Frame Queue,执行解码器 flush,然后从新的媒体位置重新读取、解码和输出。
- 退出播放:设置停止标记,广播唤醒所有等待线程,等待工作线程结束,再释放队列中的媒体资源。

如果采用 FFmpeg,压缩包通常通过 av_packet_ref() 等引用管理 API 安全地交给队列,取出后由对应持有者调用 av_packet_unref();解码帧也应使用引用计数语义管理生命周期。不能仅复制 AVPacket 或 AVFrame 结构体后就假定缓冲区所有权已经正确转移。
真实解码还必须处理一个输入包对应零帧、多帧,以及解码器内部缓存帧的情况。Seek 后应同时过滤旧播放代次的异步输出,避免旧画面在新位置短暂闪现。
检查队列是否真正稳定
为两个队列记录当前元素数、累计字节数、缓存时间跨度和生产者等待时间。每秒采样一次,在正常播放、网络抖动、暂停和拖动四种情况下观察变化。
可采用以下初始验收条件:正常连续播放 60 秒时,队列长度始终不超过配置上限;模拟渲染变慢后,读取线程最终进入等待状态而不是持续增加内存;执行 Seek 后,新位置不再显示旧代次帧;停止时所有工作线程都能退出。
还应分别测试 Packet Queue 为空、Frame Queue 为空以及两个队列接近满载的情况。空队列持续出现通常意味着供给不足,满队列长期持续则可能意味着下游处理能力不足。排查时同时记录 PTS 与实际播放时钟差值,避免将同步问题误判成缓存不足。
对于点播播放器,阻塞式有界队列是可靠的默认选择;对于低延迟直播,过期帧可能需要按延迟预算主动丢弃,但必须结合关键帧依赖、音画同步和解码状态设计策略,不能随意从压缩队列删除任意视频包。