编码与格式 / 系统课时

将视频帧转换成可显示的像素

将视频帧转换成可显示的像素

视频解码器输出的画面通常不是可以直接显示的 RGB 图片,而是带有像素格式、行跨度和可见区域信息的 YUV 帧。要让画面正确出现在屏幕上,需要完成格式适配、像素转换或纹理上传,并处理行对齐、颜色空间和显示比例。本课通过 FFmpeg 示例完成转换,并解释 GPU 直接渲染的实现要点。

学习目标

  • 识别常见 YUV 像素格式,理解解码帧与显示纹理的区别。
  • 使用 FFmpeg 将 YUV420P 转换为 RGBA,并正确处理行跨度。
  • 判断颜色错误、画面倾斜和比例失真的原因,选择 CPU 或 GPU 渲染方案。

解码帧为什么不能直接显示

解码器输出的 AVFrame 包含像素数据和描述信息。对常见的 YUV420P 格式而言,亮度 Y、色度 U 和色度 V 分别存储在三个平面中;NV12 则使用独立 Y 平面和交错排列的 UV 平面。RGBA 将红、绿、蓝和透明度放在同一个交错像素缓冲区中。

以 1920×1080、8 位、4:2:0 视频为例,未考虑内存对齐时,YUV420P 需要 1920×1080×1.5=3110400 字节,RGBA 需要 1920×1080×4=8294400 字节。转换后每帧数据量明显增加,这也是高分辨率播放器倾向于使用 GPU 的原因之一。

像素格式 数据布局 典型用途
YUV420P Y、U、V 三个平面 软件解码输出、视频处理
NV12 Y 平面与交错 UV 平面 视频硬件解码、GPU 纹理输入
RGBA 每个像素连续存储 R、G、B、A 图像处理、渲染纹理上传

注意,YUV420P 和 NV12 都采用 4:2:0 色度抽样,但内存布局不同。把 NV12 当作 YUV420P 读取,会导致颜色异常;把 YUV 数据直接解释成 RGBA,则通常得到杂乱的图像。

YUV420P、NV12 与 RGBA 像素存储结构对比

使用 FFmpeg 转换为 RGBA

当显示接口要求 RGBA 缓冲区时,可以使用 FFmpeg 的 libswscale 完成像素格式转换。以下示例使用 C 语言,构造一张 4×4 的 YUV420P 灰度测试帧,再转换成 RGBA,验证像素值和行跨度处理。

运行环境需要安装 FFmpeg 开发库 libavutil、libswscale,以及 C 编译器。示例不依赖视频文件,便于单独检查转换逻辑。

c
#include <stdio.h>
#include <stdint.h>
#include <libavutil/frame.h>
#include <libavutil/pixfmt.h>
#include <libswscale/swscale.h>

int main(void) {
    const int width = 4, height = 4;
    AVFrame *src = av_frame_alloc();
    AVFrame *dst = av_frame_alloc();
    struct SwsContext *ctx = NULL;
    int status = 1;
    if (!src || !dst) goto cleanup;

    src->format = AV_PIX_FMT_YUV420P;
    src->width = width;
    src->height = height;
    dst->format = AV_PIX_FMT_RGBA;
    dst->width = width;
    dst->height = height;
    if (av_frame_get_buffer(src, 32) < 0 ||
        av_frame_get_buffer(dst, 32) < 0) goto cleanup;
    if (av_frame_make_writable(src) < 0 ||
        av_frame_make_writable(dst) < 0) goto cleanup;

    // 按各平面的 linesize 写入,不能假设行数据紧密排列。
    for (int y = 0; y < height; ++y)
        for (int x = 0; x < width; ++x)
            src->data[0][y * src->linesize[0] + x] = 16;
    for (int y = 0; y < height / 2; ++y)
        for (int x = 0; x < width / 2; ++x) {
            src->data[1][y * src->linesize[1] + x] = 128;
            src->data[2][y * src->linesize[2] + x] = 128;
        }

    ctx = sws_getContext(width, height, AV_PIX_FMT_YUV420P,
                         width, height, AV_PIX_FMT_RGBA,
                         SWS_BILINEAR, NULL, NULL, NULL);
    if (!ctx) goto cleanup;

    // 转换后仍以目标帧的 linesize 定位每行像素。
    int rows = sws_scale(ctx, (const uint8_t * const *)src->data,
                         src->linesize, 0, height,
                         dst->data, dst->linesize);
    if (rows != height) goto cleanup;

    printf("converted rows: %d\n", rows);
    printf("first pixel RGBA: %u %u %u %u\n",
           (unsigned)dst->data[0][0], (unsigned)dst->data[0][1],
           (unsigned)dst->data[0][2], (unsigned)dst->data[0][3]);
    status = 0;

cleanup:
    sws_freeContext(ctx);
    av_frame_free(&src);
    av_frame_free(&dst);
    if (status) fprintf(stderr, "conversion failed\n");
    return status;
}

保存为 convert.c,在安装了 FFmpeg 开发库且 pkg-config 可找到对应模块的 Linux 或 macOS 环境下执行:

bash
cc convert.c -o convert $(pkg-config --cflags --libs libavutil libswscale)
./convert

预期输出:

text
converted rows: 4
first pixel RGBA: 0 0 0 255

这里 Y=16、U=128、V=128 表示视频有限范围 YUV 中的黑色,默认转换规则下得到不透明黑色。实际播放器应根据视频帧的颜色范围、色彩矩阵等元数据正确配置转换,而不是对所有输入强制使用同一套颜色参数。

行跨度和可见尺寸怎样影响画面

AVFrame.linesize 表示相邻两行起始位置之间的字节跨度,可能大于可见像素所占字节数。解码器为了 SIMD 或硬件对齐,常常为每行分配额外空间。

假设一张 RGBA 图像宽 1919、高 1080,每个可见行占 7676 字节。如果实际行跨度对齐到 64 字节,可能为 7680 字节。错误地使用 y * 7676 访问下一行,会逐行积累偏移,最终出现斜纹或画面错位。

读取第 y 行第 x 个 RGBA 像素时,正确的地址计算是 data[0] + y * linesize[0] + x * 4。上传到只接受紧密排列像素的接口时,应逐行复制有效的 7676 字节,而不是直接把带填充的整块缓冲区当作连续像素。

图像行跨度与可见宽度关系示意

还要区分帧的存储尺寸、裁剪区域和最终显示尺寸。例如,存储帧为 1920×1088,但有效画面为 1920×1080 时,应按裁剪信息排除多余的 8 行。对于需要考虑样本宽高比的视频,还应根据像素宽高比计算显示比例,不能一律认为存储宽高比就是屏幕宽高比。

CPU 转换与 GPU 渲染如何选择

CPU 路线通常先使用 libswscale 转为 RGBA,再交给 SDL、OpenGL 或其他显示接口。实现和调试相对简单,但 1080p RGBA 单帧约 8.29 MB,60 帧每秒仅按单次完整数据搬运估算,就达到约 498 MB/s,尚未计算转换过程的读取与额外复制。

GPU 路线可以保留 YUV 或 NV12 数据,分别上传对应纹理,再通过片元着色器完成 YUV 到 RGB 的变换。硬件解码器若能提供平台支持的 GPU 可共享图像或纹理,还可能避免 CPU 回读和重复上传,但具体能力取决于操作系统、解码后端和渲染 API。

CPU 像素转换和 GPU YUV 渲染数据流对比

使用场景 推荐方式 判断依据
小尺寸预览、截图导出 CPU 转 RGBA 编程简单,便于逐像素处理
高帧率实时播放 GPU YUV 渲染 减少 CPU 颜色转换开销
硬解码且支持共享纹理 GPU 直接消费解码图像 有机会减少内存复制

GPU 转换必须使用匹配视频元数据的颜色矩阵。常见的 BT.601 与 BT.709 对应不同的 YUV/RGB 转换系数,全范围与有限范围的数值映射也不同。使用错误矩阵容易造成肤色偏移,范围处理错误则可能使黑位发灰或暗部细节被压缩。

如何验证最终画面正确

建议准备一张包含纯红、纯绿、纯蓝、灰阶和细直线的测试图,再分别通过软件解码和硬件解码显示。检查时优先排除数据解释错误,然后检查几何显示问题。

  1. 画面出现斜纹或逐行错位:检查各平面 linesize、纹理上传行跨度,以及复制长度是否使用可见宽度。
  2. 整体偏绿、偏紫或色块位置异常:核对 YUV420P、NV12 等像素格式,确认 U、V 的排列和采样位置。
  3. 画面过暗、发灰或颜色不准确:检查 limited/full range、BT.601/BT.709 矩阵及渲染着色器参数。
  4. 边缘出现多余色条或画面被拉伸:确认帧裁剪区域、纹理采样边界、显示矩形和样本宽高比。
  5. 视频上下颠倒:检查图像行方向、纹理坐标约定和目标渲染 API 的坐标系,不要随意修改负行跨度的含义。

验收时至少比较一张静态测试图的像素颜色、横纵线是否笔直、实际显示比例是否正确,再持续播放一段视频观察纹理更新是否有闪烁或残留。CPU 或 GPU 两种路线最终都应正确解释像素布局、颜色信息和可见区域;否则即使解码完全成功,画面仍可能显示错误。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

将视频帧转换成可显示的像素

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通