编码与格式 / 系统课时

减少内存拷贝开销

减少内存拷贝开销

本课解决硬件解码已经启用、性能却没有明显提升的问题。你将从帧所在的内存位置分析传输成本,使用 VideoToolbox 硬件帧与 scale_vt 完成缩放,并学会判断何时必须下载到系统内存。

学习目标

  • 区分系统内存帧与硬件帧,定位 CPU 和 GPU 之间的拷贝边界
  • 使用硬件解码、硬件滤镜和硬件编码组成连续处理链
  • 正确使用 hwupload、hwdownload 与像素格式转换,避免无效往返

先从数据路径定位开销

硬件加速的关键不只是“用了硬件编码器”,而是帧能否一直留在同一硬件设备中。若硬件解码后的帧先下载到系统内存执行 CPU 滤镜,再上传给硬件编码器,就会产生两次大块内存传输。

软件滤镜与硬件滤镜的数据拷贝路径对比

判断链路时,应逐个检查解码器输出格式、每个滤镜接受的帧类型以及编码器输入格式。只要中间出现 CPU 专用滤镜,硬件帧通常就必须回到系统内存。

检查硬件帧与滤镜能力

先确认当前 FFmpeg 构建包含 VideoToolbox 像素格式和目标硬件滤镜。scale_vt 只有在本机构建列出时才能使用,不能把其他平台的 scale_cuda、scale_vaapi 直接替换为它。

bash
ffmpeg -hide_banner -filters | grep -E 'scale_vt|hwupload|hwdownload'
ffmpeg -hide_banner -pix_fmts | grep videotoolbox

预期输出应至少包含本例需要的 scale_vt 与 VideoToolbox 硬件像素格式;标志位和描述可能因版本而不同:

text
<FILTER_FLAGS> scale_vt <DESCRIPTION>
<FILTER_FLAGS> hwdownload <DESCRIPTION>
<FILTER_FLAGS> hwupload <DESCRIPTION>
<PIXEL_FORMAT_FLAGS> videotoolbox_vld <COMPONENTS> <BITS>

若没有 scale_vt,本例不能形成完整的 VideoToolbox 硬件缩放链。此时可以升级或更换构建,也可以回退到 CPU 缩放,但必须接受一次下载和后续上传的成本。

构建连续的硬件处理链

下面的主示例让支持的输入通过 VideoToolbox 解码为硬件帧,使用 scale_vt 缩放到 1280×720,再交给 VideoToolbox H.264 编码器。-benchmark 会在任务结束时输出进程时间,便于与软件链路对比。

bash
ffmpeg -hide_banner -y -benchmark \
  -hwaccel videotoolbox \
  -hwaccel_output_format videotoolbox_vld \
  -i "<INPUT>" \
  -vf "scale_vt=w=1280:h=720" \
  -c:v h264_videotoolbox -b:v 4M \
  -c:a copy \
  "<OUTPUT>"

ffprobe -v error -select_streams v:0 \
  -show_entries stream=codec_name,width,height \
  -of default=noprint_wrappers=1 "<OUTPUT>"

预期输出包含动态基准时间,以及固定的输出编码与尺寸:

text
bench: utime=<TIME>s stime=<TIME>s rtime=<TIME>s
codec_name=h264
width=1280
height=720

输入必须是本机 VideoToolbox 能解码的格式,输出容器也必须允许复制原音频流。若 -c:a copy 因音频与容器不兼容而失败,可改用 AAC 编码;这不会改变视频硬件帧链路。

理解上传、下载与格式转换

hwupload 把系统内存帧上传到硬件帧池,适合“软件解码或 CPU 滤镜之后进入硬件处理”的场景。hwdownload 把硬件帧取回系统内存,适合必须使用 drawtext、部分复杂叠加或其他 CPU 滤镜的场景。

下面是两类滤镜链的片段示例,不能脱离已创建的硬件设备和完整输入输出参数独立运行:

text
format=nv12,hwupload,<HARDWARE_FILTER>

hwdownload,format=nv12,<CPU_FILTER>,format=nv12,hwupload

第一条链只在进入硬件处理前上传一次。第二条链为了执行 CPU 滤镜先下载,处理后又上传;它并非错误,但应确认该 CPU 滤镜确实不可替代,并尽量把多个 CPU 滤镜集中在同一次下载与上传之间。

format 负责约束软件帧像素格式,不能代替 hwupload 或 hwdownload。硬件帧格式、软件像素格式和设备上下文是三个不同概念,混用时常见报错是滤镜格式协商失败。

按顺序减少不必要的复制

优化时先删除无用的像素格式转换,再把缩放、裁剪或色彩转换替换为同一后端支持的硬件滤镜。之后检查是否存在隐藏的 CPU 滤镜,最后才调整线程数、码率和预设等编码参数。

若业务必须添加 CPU 水印或字幕,可以选择一次性下载,在系统内存中完成所有 CPU 滤镜,再上传编码。不要在滤镜图中多次交替使用硬件滤镜与 CPU 滤镜,否则同一帧可能反复跨越设备边界。

Tips:-c:v copy 不解码也不运行滤镜,通常比任何硬件转码都省资源,但它只能改封装或复制码流,不能缩放、叠加水印或改变编码参数。

验证优化是否真实有效

比较方案时应固定输入文件、输出参数和运行环境,至少记录总耗时、处理速度、CPU 占用、硬件媒体引擎占用与输出文件是否正确。只看某一项指标,容易把更快但画质不同的方案误判为优化。

日志中出现硬件解码器和硬件编码器名称,只能证明两端启用了硬件能力;还要确认中间滤镜没有插入 hwdownload,并检查输出尺寸、颜色与音画同步是否符合预期。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

减少内存拷贝开销

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通