AI 内容创作 / 系统课时
图像尺寸、色彩与像素格式
图像尺寸、色彩与像素格式
数字人系统会在摄像头、解码器、图像处理库和模型之间反复传递图像。只要尺寸、通道顺序、像素格式或归一化规则有一项不一致,就可能出现画面拉伸、颜色颠倒、透明边缘发黑或模型输出异常。本课建立一套可验证的图像输入检查方法。
学习目标
- 区分分辨率、宽高比、通道数与像素格式
- 理解 RGB、BGR、YUV、透明通道和常见数据布局
- 能够检查并修正模型输入前的归一化与通道顺序
图像尺寸与宽高比
图像尺寸通常写成“宽 × 高”,例如 1920 × 1080,表示每行 1920 个像素、共有 1080 行。像素总数是宽与高的乘积,但像素更多不一定意味着更清晰,最终效果还受缩放算法、压缩质量、镜头来源和显示尺寸影响。
宽高比由宽和高约分得到。1920 × 1080、1280 × 720 都是 16:9。改变尺寸时若只修改一边,就会破坏原始比例并拉伸人物。工程中应先确定目标画布,再选择等比缩放加裁剪,或等比缩放加留边。
还要区分像素宽高比与画面宽高比。大多数模型输入使用方形像素,但部分视频文件会通过元数据指定非方形像素。方形像素时画面宽高比等于宽除以高。非方形像素还要乘像素宽高比,即 ;旋转元数据也会影响显示方向。检查模型所需的最终显示尺寸。

色彩通道与像素格式
RGB 使用红、绿、蓝三个通道描述颜色;BGR 只是内存中的通道排列相反,像素本身并没有改变。若把 BGR 数据当作 RGB 输入,红色和蓝色会交换。许多图像模型按 RGB 训练,而部分传统图像处理接口默认返回 BGR,因此模型推理前必须显式确认通道顺序。
数字视频中常说的 YUV,实际工程里通常指亮度与色度分离的 Y'CbCr 类像素格式。Y′ 为非线性编码信号的亮度分量(luma),Cb 与 Cr 表示色差信息。色度可降采样以减少存储。YUV420P 将 Y、U、V 分平面保存;NV12 保存完整 Y 平面,再保存交错的 UV 平面。两者都常用于解码器和硬件推理,但内存布局不同,不能只改格式名称就直接复用同一缓冲区。
| 像素格式 | 典型通道或平面 | 近似存储量 | 常见注意点 |
|---|---|---|---|
| RGB24 | R、G、B 交错 | 3 字节/像素 | 模型常用输入顺序 |
| BGR24 | B、G、R 交错 | 3 字节/像素 | 直接送入 RGB 模型会偏色 |
| RGBA | R、G、B、A 交错 | 4 字节/像素 | 需要确认直通或预乘透明度 |
| YUV420P | Y、U、V 分平面 | 1.5 字节/像素 | 色度平面尺寸较小,常要求偶数宽高 |
| NV12 | Y 平面、UV 交错平面 | 1.5 字节/像素 | UV 顺序和步长必须与接口约定一致 |
表中的字节数以偶数尺寸、8 位和紧密排列为基准。设备缓冲区可能有行对齐、不同平面步长或填充;还应区分 BT.601、BT.709 等矩阵与全范围、限幅范围。透明通道 A 表示不透明度或覆盖率。合成时既要知道背景色,也要确认颜色通道是否已经乘过透明度。把预乘透明度数据按直通透明度再次相乘,会让半透明边缘变暗;完全忽略透明度,则可能显示出原本应隐藏的背景颜色。
归一化与数据布局
模型通常不直接接收 0 到 255 的整数。常见处理包括 x / 255 映射到 [0, 1],x / 127.5 - 1 映射到 [-1, 1],以及先缩放到 [0, 1] 后再执行 (x - mean) / std。具体规则必须与训练配置一致,不能凭经验替换。
图像数组还可能采用 HWC、CHW、NHWC 或 NCHW 布局。HWC 表示高、宽、通道,CHW 表示通道、高、宽,前面的 N 表示批次。即使元素数量相同,错误的维度顺序也会让模型把空间位置和颜色通道混在一起。
进入模型前建议固定检查五项:尺寸、数据类型、通道顺序、维度布局、数值范围。打印张量形状、最小值、最大值和几个已知像素,比只观察最终生成结果更容易定位问题。
完整可运行示例
下面的程序使用 Python 3.10 或更高版本且不依赖第三方库,用一个像素演示宽高比约分、RGB 与 BGR 交换、按 BT.601 系数进行的全范围 Y′CbCr 近似换算、两种归一化及 RGBA 的两种合成方法。实际 BT.601 数字视频常采用限幅范围,矩阵、范围和色彩元数据必须匹配。将代码保存为 pixel_format_demo.py。
from math import gcd
def reduce_ratio(width: int, height: int) -> tuple[int, int]:
if width <= 0 or height <= 0:
raise ValueError("positive dimensions required")
divisor = gcd(width, height)
return width // divisor, height // divisor
def rgb_to_ycbcr_bt601_full(rgb: tuple[int, int, int]) -> tuple[float, float, float]:
# 使用 BT.601 的 luma 系数展示一种全范围近似,未量化或裁剪。
red, green, blue = rgb
y = 0.299 * red + 0.587 * green + 0.114 * blue
u = -0.168736 * red - 0.331264 * green + 0.5 * blue + 128
v = 0.5 * red - 0.418688 * green - 0.081312 * blue + 128
return tuple(round(value, 2) for value in (y, u, v))
def normalize_01(rgb: tuple[int, int, int]) -> tuple[float, float, float]:
return tuple(round(value / 255.0, 4) for value in rgb)
def normalize_minus1_to1(rgb: tuple[int, int, int]) -> tuple[float, float, float]:
return tuple(round(value / 127.5 - 1.0, 4) for value in rgb)
def composite_on_white(rgba: tuple[int, int, int, int]) -> tuple[int, int, int]:
# 为对照而直接在 sRGB 编码值上合成直通 alpha。
red, green, blue, alpha_byte = rgba
alpha = alpha_byte / 255.0
return tuple(round(alpha * value + (1 - alpha) * 255) for value in (red, green, blue))
def srgb_to_linear(value: float) -> float:
return value / 12.92 if value <= 0.04045 else ((value + 0.055) / 1.055) ** 2.4
def linear_to_srgb(value: float) -> float:
return value * 12.92 if value <= 0.0031308 else 1.055 * value ** (1 / 2.4) - 0.055
def composite_linear_on_white(rgba: tuple[int, int, int, int]) -> tuple[int, int, int]:
alpha = rgba[3] / 255.0
mixed = [alpha * srgb_to_linear(value / 255.0) + (1 - alpha) for value in rgba[:3]]
return tuple(round(255 * linear_to_srgb(value)) for value in mixed)
if __name__ == "__main__":
width, height = 1920, 1080
rgb = (64, 128, 192)
rgba = (64, 128, 192, 128)
print("aspect_ratio:", reduce_ratio(width, height))
print("rgb:", rgb)
print("bgr:", rgb[::-1])
print("ycbcr_bt601_full:", rgb_to_ycbcr_bt601_full(rgb))
print("normalized_01:", normalize_01(rgb))
print("normalized_minus1_to1:", normalize_minus1_to1(rgb))
print("rgba_on_white_encoded:", composite_on_white(rgba))
print("rgba_on_white_linear:", composite_linear_on_white(rgba))运行命令如下。
python pixel_format_demo.py预期输出
aspect_ratio: (16, 9)
rgb: (64, 128, 192)
bgr: (192, 128, 64)
ycbcr_bt601_full: (116.16, 170.8, 90.8)
normalized_01: (0.251, 0.502, 0.7529)
normalized_minus1_to1: (-0.498, 0.0039, 0.5059)
rgba_on_white_encoded: (159, 191, 223)
rgba_on_white_linear: (191, 204, 226)全范围示例保留浮点结果,若写入 8 位数据,需要按目标规范取整并裁剪。sRGB 编码值合成与线性光合成的结果不同。要做线性光合成,先把颜色转到线性空间,合成后再编码。Alpha 本身不做 sRGB 转换。
验证、排错与练习
出现整幅画面偏蓝或偏红时,先检查 RGB 与 BGR,而不是先调整白平衡。出现半透明头发边缘发黑时,检查透明度是否预乘以及合成背景。模型输出整体异常但图像肉眼正常时,重点核对归一化、数据类型和 HWC、CHW 维度顺序。
调试真实帧时,可以选取纯红、纯绿、纯蓝和半透明白色四个测试像素,逐级记录解码后、转换后、归一化后和模型输入前的数值。只要某一级不符合预期,就能把问题限定在对应转换步骤。
练习一:给定 1280 × 720、1024 × 1024 和 1080 × 1920,计算宽高比,并为 512 × 512 的模型输入设计裁剪或留边方案。验收条件是人物不被拉伸,并能说明被裁掉或补入的区域。
练习二:扩展示例,增加黑色背景合成,并实现均值为 (0.5, 0.5, 0.5)、标准差为 (0.5, 0.5, 0.5) 的逐通道标准化。验收条件是输出数值可手工复算,且 RGB 通道顺序保持不变。
本课总结
- 尺寸、宽高比和像素格式是不同层次的信息,不能相互替代
- 通道顺序、透明度语义、平面布局和归一化规则必须与上下游约定一致
- 调试图像输入应逐级检查形状、类型、范围和已知像素,而不是只看最终画面
下一课预告
下一课将学习“视频帧率与时间戳”,把单张图像扩展到时间序列,并理解视频帧如何与音频采样点保持同步。