编码与格式 / 系统课时
将视频帧转换成可显示的像素
将视频帧转换成可显示的像素
视频解码器输出的画面通常不是可以直接显示的 RGB 图片,而是带有像素格式、行跨度和可见区域信息的 YUV 帧。要让画面正确出现在屏幕上,需要完成格式适配、像素转换或纹理上传,并处理行对齐、颜色空间和显示比例。本课通过 FFmpeg 示例完成转换,并解释 GPU 直接渲染的实现要点。
学习目标
- 识别常见 YUV 像素格式,理解解码帧与显示纹理的区别。
- 使用 FFmpeg 将 YUV420P 转换为 RGBA,并正确处理行跨度。
- 判断颜色错误、画面倾斜和比例失真的原因,选择 CPU 或 GPU 渲染方案。
解码帧为什么不能直接显示
解码器输出的 AVFrame 包含像素数据和描述信息。对常见的 YUV420P 格式而言,亮度 Y、色度 U 和色度 V 分别存储在三个平面中;NV12 则使用独立 Y 平面和交错排列的 UV 平面。RGBA 将红、绿、蓝和透明度放在同一个交错像素缓冲区中。
以 1920×1080、8 位、4:2:0 视频为例,未考虑内存对齐时,YUV420P 需要 1920×1080×1.5=3110400 字节,RGBA 需要 1920×1080×4=8294400 字节。转换后每帧数据量明显增加,这也是高分辨率播放器倾向于使用 GPU 的原因之一。
| 像素格式 | 数据布局 | 典型用途 |
|---|---|---|
| YUV420P | Y、U、V 三个平面 | 软件解码输出、视频处理 |
| NV12 | Y 平面与交错 UV 平面 | 视频硬件解码、GPU 纹理输入 |
| RGBA | 每个像素连续存储 R、G、B、A | 图像处理、渲染纹理上传 |
注意,YUV420P 和 NV12 都采用 4:2:0 色度抽样,但内存布局不同。把 NV12 当作 YUV420P 读取,会导致颜色异常;把 YUV 数据直接解释成 RGBA,则通常得到杂乱的图像。

使用 FFmpeg 转换为 RGBA
当显示接口要求 RGBA 缓冲区时,可以使用 FFmpeg 的 libswscale 完成像素格式转换。以下示例使用 C 语言,构造一张 4×4 的 YUV420P 灰度测试帧,再转换成 RGBA,验证像素值和行跨度处理。
运行环境需要安装 FFmpeg 开发库 libavutil、libswscale,以及 C 编译器。示例不依赖视频文件,便于单独检查转换逻辑。
#include <stdio.h>
#include <stdint.h>
#include <libavutil/frame.h>
#include <libavutil/pixfmt.h>
#include <libswscale/swscale.h>
int main(void) {
const int width = 4, height = 4;
AVFrame *src = av_frame_alloc();
AVFrame *dst = av_frame_alloc();
struct SwsContext *ctx = NULL;
int status = 1;
if (!src || !dst) goto cleanup;
src->format = AV_PIX_FMT_YUV420P;
src->width = width;
src->height = height;
dst->format = AV_PIX_FMT_RGBA;
dst->width = width;
dst->height = height;
if (av_frame_get_buffer(src, 32) < 0 ||
av_frame_get_buffer(dst, 32) < 0) goto cleanup;
if (av_frame_make_writable(src) < 0 ||
av_frame_make_writable(dst) < 0) goto cleanup;
// 按各平面的 linesize 写入,不能假设行数据紧密排列。
for (int y = 0; y < height; ++y)
for (int x = 0; x < width; ++x)
src->data[0][y * src->linesize[0] + x] = 16;
for (int y = 0; y < height / 2; ++y)
for (int x = 0; x < width / 2; ++x) {
src->data[1][y * src->linesize[1] + x] = 128;
src->data[2][y * src->linesize[2] + x] = 128;
}
ctx = sws_getContext(width, height, AV_PIX_FMT_YUV420P,
width, height, AV_PIX_FMT_RGBA,
SWS_BILINEAR, NULL, NULL, NULL);
if (!ctx) goto cleanup;
// 转换后仍以目标帧的 linesize 定位每行像素。
int rows = sws_scale(ctx, (const uint8_t * const *)src->data,
src->linesize, 0, height,
dst->data, dst->linesize);
if (rows != height) goto cleanup;
printf("converted rows: %d\n", rows);
printf("first pixel RGBA: %u %u %u %u\n",
(unsigned)dst->data[0][0], (unsigned)dst->data[0][1],
(unsigned)dst->data[0][2], (unsigned)dst->data[0][3]);
status = 0;
cleanup:
sws_freeContext(ctx);
av_frame_free(&src);
av_frame_free(&dst);
if (status) fprintf(stderr, "conversion failed\n");
return status;
}保存为 convert.c,在安装了 FFmpeg 开发库且 pkg-config 可找到对应模块的 Linux 或 macOS 环境下执行:
cc convert.c -o convert $(pkg-config --cflags --libs libavutil libswscale)
./convert预期输出:
converted rows: 4
first pixel RGBA: 0 0 0 255这里 Y=16、U=128、V=128 表示视频有限范围 YUV 中的黑色,默认转换规则下得到不透明黑色。实际播放器应根据视频帧的颜色范围、色彩矩阵等元数据正确配置转换,而不是对所有输入强制使用同一套颜色参数。
行跨度和可见尺寸怎样影响画面
AVFrame.linesize 表示相邻两行起始位置之间的字节跨度,可能大于可见像素所占字节数。解码器为了 SIMD 或硬件对齐,常常为每行分配额外空间。
假设一张 RGBA 图像宽 1919、高 1080,每个可见行占 7676 字节。如果实际行跨度对齐到 64 字节,可能为 7680 字节。错误地使用 y * 7676 访问下一行,会逐行积累偏移,最终出现斜纹或画面错位。
读取第 y 行第 x 个 RGBA 像素时,正确的地址计算是 data[0] + y * linesize[0] + x * 4。上传到只接受紧密排列像素的接口时,应逐行复制有效的 7676 字节,而不是直接把带填充的整块缓冲区当作连续像素。

还要区分帧的存储尺寸、裁剪区域和最终显示尺寸。例如,存储帧为 1920×1088,但有效画面为 1920×1080 时,应按裁剪信息排除多余的 8 行。对于需要考虑样本宽高比的视频,还应根据像素宽高比计算显示比例,不能一律认为存储宽高比就是屏幕宽高比。
CPU 转换与 GPU 渲染如何选择
CPU 路线通常先使用 libswscale 转为 RGBA,再交给 SDL、OpenGL 或其他显示接口。实现和调试相对简单,但 1080p RGBA 单帧约 8.29 MB,60 帧每秒仅按单次完整数据搬运估算,就达到约 498 MB/s,尚未计算转换过程的读取与额外复制。
GPU 路线可以保留 YUV 或 NV12 数据,分别上传对应纹理,再通过片元着色器完成 YUV 到 RGB 的变换。硬件解码器若能提供平台支持的 GPU 可共享图像或纹理,还可能避免 CPU 回读和重复上传,但具体能力取决于操作系统、解码后端和渲染 API。

| 使用场景 | 推荐方式 | 判断依据 |
|---|---|---|
| 小尺寸预览、截图导出 | CPU 转 RGBA | 编程简单,便于逐像素处理 |
| 高帧率实时播放 | GPU YUV 渲染 | 减少 CPU 颜色转换开销 |
| 硬解码且支持共享纹理 | GPU 直接消费解码图像 | 有机会减少内存复制 |
GPU 转换必须使用匹配视频元数据的颜色矩阵。常见的 BT.601 与 BT.709 对应不同的 YUV/RGB 转换系数,全范围与有限范围的数值映射也不同。使用错误矩阵容易造成肤色偏移,范围处理错误则可能使黑位发灰或暗部细节被压缩。
如何验证最终画面正确
建议准备一张包含纯红、纯绿、纯蓝、灰阶和细直线的测试图,再分别通过软件解码和硬件解码显示。检查时优先排除数据解释错误,然后检查几何显示问题。
- 画面出现斜纹或逐行错位:检查各平面
linesize、纹理上传行跨度,以及复制长度是否使用可见宽度。 - 整体偏绿、偏紫或色块位置异常:核对 YUV420P、NV12 等像素格式,确认 U、V 的排列和采样位置。
- 画面过暗、发灰或颜色不准确:检查 limited/full range、BT.601/BT.709 矩阵及渲染着色器参数。
- 边缘出现多余色条或画面被拉伸:确认帧裁剪区域、纹理采样边界、显示矩形和样本宽高比。
- 视频上下颠倒:检查图像行方向、纹理坐标约定和目标渲染 API 的坐标系,不要随意修改负行跨度的含义。
验收时至少比较一张静态测试图的像素颜色、横纵线是否笔直、实际显示比例是否正确,再持续播放一段视频观察纹理更新是否有闪烁或残留。CPU 或 GPU 两种路线最终都应正确解释像素布局、颜色信息和可见区域;否则即使解码完全成功,画面仍可能显示错误。