编码与格式 / 系统课时
硬件编解码
硬件编解码
本课解决“视频处理速度上不去、CPU 占用却很高”的问题。你将理解硬件帧、设备上下文与帧池的职责,并完成一次尽量保持在显存或设备内存中的硬件转码,避免不必要的软硬件往返拷贝。
学习目标
- 说清软件帧、硬件帧和设备上下文之间的关系
- 理解解码、滤镜、编码之间的格式协商与帧传输
- 使用 FFmpeg 验证一条硬件解码、处理和编码链路
硬件编解码的本质
软件编解码主要由 CPU 执行,而硬件编解码把固定功能交给 GPU、核显或专用媒体单元。它通常能显著降低 CPU 占用并提高并发路数,但画质、支持的像素格式、滤镜能力和码率控制精度可能受设备限制。
硬件加速并不等于整条链路都“零拷贝”。只要中间滤镜只能处理系统内存中的软件帧,就必须把硬件帧下载到内存,处理后再上传回设备。频繁传输往往会抵消硬件加速收益。

三个核心对象
AVHWDeviceContext 表示一个可用的硬件设备,例如 VAAPI、CUDA、QSV、VideoToolbox 或 D3D11VA。它负责保存设备句柄和后端状态,通常在任务开始时创建并复用。
AVHWFramesContext 描述硬件帧池,包括硬件像素格式、对应的软件像素格式、宽高和预分配帧数量。解码器或滤镜从帧池取得设备帧,避免每帧重复申请昂贵资源。
AVFrame 既能引用系统内存,也能引用设备内存。判断时不能只看分辨率,还要看 format:硬件格式表示数据仍在设备侧,nv12、yuv420p 等常见格式通常表示软件帧。
软硬件格式转换
硬件解码输出的格式常是 vaapi、cuda 或 qsv 这类设备格式,而硬件内部真实使用的表面格式可能是 NV12 或 P010。滤镜链必须明确自己接收哪一种帧。
hwdownload 把硬件帧复制到系统内存,后面通常还要接 format 指定软件像素格式;hwupload 则把软件帧上传到设备。使用同一硬件后端的缩放、去交错和色彩转换滤镜,通常可以保持设备内处理。
优先检查“解码输出格式 → 滤镜输入格式 → 编码器输入格式”是否一致,再谈性能参数。格式不匹配比编码器本身更容易引入隐藏拷贝。
使用 FFmpeg 验证硬件链路
下面以 Linux VAAPI 为例。执行前应确认 /dev/dri/renderD128 存在,当前用户有访问权限,输入文件包含设备支持的编码格式。其他平台需要替换为对应后端。
ffmpeg -y \
-init_hw_device vaapi=va:/dev/dri/renderD128 \
-filter_hw_device va \
-hwaccel vaapi -hwaccel_output_format vaapi \
-i input.mp4 \
-vf 'scale_vaapi=w=1280:h=720:format=nv12' \
-c:v h264_vaapi -b:v 4M -an output.mp4
ffprobe -v error -select_streams v:0 \
-show_entries stream=codec_name,width,height \
-of default=noprint_wrappers=1 output.mp4预期结果中,转码日志会持续出现帧数和速度,ffprobe 会确认输出为 H.264、1280×720。实际帧数、速度和时间取决于素材与设备。
frame=<N> fps=<FPS> time=<TIME> speed=<X>x
codec_name=h264
width=1280
height=720该命令让解码输出直接成为 VAAPI 硬件帧,scale_vaapi 在设备内完成缩放,编码器继续消费硬件帧。若改用普通 scale,通常需要先下载为软件帧,链路成本会明显增加。
常见失败与定位
出现 No VA display found 时,优先检查设备节点、驱动和容器设备映射。出现 Impossible to convert between the formats 时,说明滤镜两端格式无法自动协商,应显式添加 hwupload、hwdownload 或 format。
编码速度不升反降时,不要只看总 CPU。还要检查 GPU 利用率、PCIe 或共享内存带宽、是否发生重复拷贝,以及分辨率过小导致的调度开销。硬件编解码更适合高分辨率、多路并发或实时业务。