编码与格式 / 系统课时

认识硬件加速链路

认识硬件加速链路

本课解决“启用硬件编码后为什么不一定更快”的问题。你将从完整处理链路出发,判断解码、滤镜和编码分别运行在 CPU 还是 GPU,并识别显存与内存之间的数据搬运成本。

学习目标

  • 识别硬件解码、硬件滤镜和硬件编码可介入的阶段
  • 理解系统内存、显存以及帧上传下载之间的关系
  • 根据处理任务设计尽量连续的硬件加速链路

一条媒体链路里硬件能做什么

FFmpeg 的典型流程是读取封装、解复用、解码、滤镜处理、编码和封装输出。硬件加速主要作用于解码、部分滤镜和编码;文件读取、解复用、音频复制与最终封装通常仍由 CPU 完成。

FFmpeg 硬件加速处理链路

处理阶段 常见执行位置 关键判断
解复用与封装 CPU 一般不是主要加速对象
视频解码 CPU 或硬件设备 输入编码必须被对应设备支持
视频滤镜 CPU 或硬件设备 只有硬件滤镜才能直接处理显存帧
视频编码 CPU 或硬件设备 编码器名称通常能反映所用后端

真正的成本在数据搬运

软件解码得到的帧位于系统内存,硬件解码得到的帧通常位于设备显存。CPU 滤镜无法直接处理多数显存帧,因此需要先下载;后续若再交给硬件编码器,还要重新上传。

一次上传或下载并不一定成为瓶颈,但高分辨率、高帧率视频会放大传输成本。性能优化的重点不是“某一段用了 GPU”,而是减少 CPU 与 GPU 之间不必要的往返。

下面以支持 CUDA、NVDEC 和 NVENC 的 NVIDIA 环境为例,让解码后的帧保留在 GPU 中并直接交给硬件编码器:

bash
ffmpeg -hide_banner -hwaccel cuda -hwaccel_output_format cuda -i input.mp4 -c:v h264_nvenc -c:a copy output.mp4

预期输出

text
Output #0, mp4, to 'output.mp4':
  Stream #0:0: Video: h264 (...), <PIX_FMT>, <WIDTH>x<HEIGHT> ... (h264_nvenc)
frame=<N> ... time=<TIME> ... speed=<SPEED>x

实际像素格式、分辨率、帧数和速度会随输入文件与设备变化。若输入编码不受硬件解码支持,命令可能在初始化阶段失败,而不是自动获得完整的 GPU 链路。

哪些操作会让链路退回 CPU

最常见的情况是加入仅支持软件帧的滤镜,例如某些字幕、复杂画面分析或第三方滤镜。FFmpeg 此时需要执行 hwdownload,转换像素格式后交给 CPU;若最终仍使用硬件编码,还会再次执行上传。

不同硬件后端之间也不能假设显存帧可以直接互通。例如 CUDA 帧不能直接交给 VAAPI 编码器。解码、滤镜和编码最好选择同一硬件生态,并确认中间像素格式受到整条链路支持。

如何判断优化是否有效

不要只看命令是否出现硬件编码器名称。应同时比较处理速度 speed、CPU 占用、GPU 解码与编码引擎占用、显存带宽以及输出质量。硬件编码通常优先换取吞吐量和低延迟,同码率画质未必优于高质量软件编码。

测试时保持输入文件、输出分辨率、码率控制方式和滤镜完全一致,只替换加速链路。若 GPU 利用率很低而 CPU 占用很高,通常说明滤镜仍在 CPU 执行,或链路发生了频繁上传与下载。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

认识硬件加速链路

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通