AI 内容创作 / 系统课时

图像尺寸、色彩与像素格式

图像尺寸、色彩与像素格式

数字人系统会在摄像头、解码器、图像处理库和模型之间反复传递图像。只要尺寸、通道顺序、像素格式或归一化规则有一项不一致,就可能出现画面拉伸、颜色颠倒、透明边缘发黑或模型输出异常。本课建立一套可验证的图像输入检查方法。

学习目标

  • 区分分辨率、宽高比、通道数与像素格式
  • 理解 RGB、BGR、YUV、透明通道和常见数据布局
  • 能够检查并修正模型输入前的归一化与通道顺序

图像尺寸与宽高比

图像尺寸通常写成“宽 × 高”,例如 1920 × 1080,表示每行 1920 个像素、共有 1080 行。像素总数是宽与高的乘积,但像素更多不一定意味着更清晰,最终效果还受缩放算法、压缩质量、镜头来源和显示尺寸影响。

宽高比由宽和高约分得到。1920 × 1080、1280 × 720 都是 16:9。改变尺寸时若只修改一边,就会破坏原始比例并拉伸人物。工程中应先确定目标画布,再选择等比缩放加裁剪,或等比缩放加留边。

还要区分像素宽高比与画面宽高比。大多数模型输入使用方形像素,但部分视频文件会通过元数据指定非方形像素。方形像素时画面宽高比等于宽除以高。非方形像素还要乘像素宽高比,即 DAR=(W/H)×SARDAR=(W/H)\times SAR;旋转元数据也会影响显示方向。检查模型所需的最终显示尺寸。

图像尺寸与像素格式关系图

色彩通道与像素格式

RGB 使用红、绿、蓝三个通道描述颜色;BGR 只是内存中的通道排列相反,像素本身并没有改变。若把 BGR 数据当作 RGB 输入,红色和蓝色会交换。许多图像模型按 RGB 训练,而部分传统图像处理接口默认返回 BGR,因此模型推理前必须显式确认通道顺序。

数字视频中常说的 YUV,实际工程里通常指亮度与色度分离的 Y'CbCr 类像素格式。Y′ 为非线性编码信号的亮度分量(luma),Cb 与 Cr 表示色差信息。色度可降采样以减少存储。YUV420P 将 Y、U、V 分平面保存;NV12 保存完整 Y 平面,再保存交错的 UV 平面。两者都常用于解码器和硬件推理,但内存布局不同,不能只改格式名称就直接复用同一缓冲区。

像素格式 典型通道或平面 近似存储量 常见注意点
RGB24 R、G、B 交错 3 字节/像素 模型常用输入顺序
BGR24 B、G、R 交错 3 字节/像素 直接送入 RGB 模型会偏色
RGBA R、G、B、A 交错 4 字节/像素 需要确认直通或预乘透明度
YUV420P Y、U、V 分平面 1.5 字节/像素 色度平面尺寸较小,常要求偶数宽高
NV12 Y 平面、UV 交错平面 1.5 字节/像素 UV 顺序和步长必须与接口约定一致

表中的字节数以偶数尺寸、8 位和紧密排列为基准。设备缓冲区可能有行对齐、不同平面步长或填充;还应区分 BT.601、BT.709 等矩阵与全范围、限幅范围。透明通道 A 表示不透明度或覆盖率。合成时既要知道背景色,也要确认颜色通道是否已经乘过透明度。把预乘透明度数据按直通透明度再次相乘,会让半透明边缘变暗;完全忽略透明度,则可能显示出原本应隐藏的背景颜色。

归一化与数据布局

模型通常不直接接收 0 到 255 的整数。常见处理包括 x / 255 映射到 [0, 1],x / 127.5 - 1 映射到 [-1, 1],以及先缩放到 [0, 1] 后再执行 (x - mean) / std。具体规则必须与训练配置一致,不能凭经验替换。

图像数组还可能采用 HWC、CHW、NHWC 或 NCHW 布局。HWC 表示高、宽、通道,CHW 表示通道、高、宽,前面的 N 表示批次。即使元素数量相同,错误的维度顺序也会让模型把空间位置和颜色通道混在一起。

进入模型前建议固定检查五项:尺寸、数据类型、通道顺序、维度布局、数值范围。打印张量形状、最小值、最大值和几个已知像素,比只观察最终生成结果更容易定位问题。

完整可运行示例

下面的程序使用 Python 3.10 或更高版本且不依赖第三方库,用一个像素演示宽高比约分、RGB 与 BGR 交换、按 BT.601 系数进行的全范围 Y′CbCr 近似换算、两种归一化及 RGBA 的两种合成方法。实际 BT.601 数字视频常采用限幅范围,矩阵、范围和色彩元数据必须匹配。将代码保存为 pixel_format_demo.py。

python
from math import gcd

def reduce_ratio(width: int, height: int) -> tuple[int, int]:
    if width <= 0 or height <= 0:
        raise ValueError("positive dimensions required")
    divisor = gcd(width, height)
    return width // divisor, height // divisor

def rgb_to_ycbcr_bt601_full(rgb: tuple[int, int, int]) -> tuple[float, float, float]:
    # 使用 BT.601 的 luma 系数展示一种全范围近似,未量化或裁剪。
    red, green, blue = rgb
    y = 0.299 * red + 0.587 * green + 0.114 * blue
    u = -0.168736 * red - 0.331264 * green + 0.5 * blue + 128
    v = 0.5 * red - 0.418688 * green - 0.081312 * blue + 128
    return tuple(round(value, 2) for value in (y, u, v))

def normalize_01(rgb: tuple[int, int, int]) -> tuple[float, float, float]:
    return tuple(round(value / 255.0, 4) for value in rgb)

def normalize_minus1_to1(rgb: tuple[int, int, int]) -> tuple[float, float, float]:
    return tuple(round(value / 127.5 - 1.0, 4) for value in rgb)

def composite_on_white(rgba: tuple[int, int, int, int]) -> tuple[int, int, int]:
    # 为对照而直接在 sRGB 编码值上合成直通 alpha。
    red, green, blue, alpha_byte = rgba
    alpha = alpha_byte / 255.0
    return tuple(round(alpha * value + (1 - alpha) * 255) for value in (red, green, blue))

def srgb_to_linear(value: float) -> float:
    return value / 12.92 if value <= 0.04045 else ((value + 0.055) / 1.055) ** 2.4


def linear_to_srgb(value: float) -> float:
    return value * 12.92 if value <= 0.0031308 else 1.055 * value ** (1 / 2.4) - 0.055


def composite_linear_on_white(rgba: tuple[int, int, int, int]) -> tuple[int, int, int]:
    alpha = rgba[3] / 255.0
    mixed = [alpha * srgb_to_linear(value / 255.0) + (1 - alpha) for value in rgba[:3]]
    return tuple(round(255 * linear_to_srgb(value)) for value in mixed)


if __name__ == "__main__":
    width, height = 1920, 1080
    rgb = (64, 128, 192)
    rgba = (64, 128, 192, 128)

    print("aspect_ratio:", reduce_ratio(width, height))
    print("rgb:", rgb)
    print("bgr:", rgb[::-1])
    print("ycbcr_bt601_full:", rgb_to_ycbcr_bt601_full(rgb))
    print("normalized_01:", normalize_01(rgb))
    print("normalized_minus1_to1:", normalize_minus1_to1(rgb))
    print("rgba_on_white_encoded:", composite_on_white(rgba))
    print("rgba_on_white_linear:", composite_linear_on_white(rgba))

运行命令如下。

bash
python pixel_format_demo.py

预期输出

text
aspect_ratio: (16, 9)
rgb: (64, 128, 192)
bgr: (192, 128, 64)
ycbcr_bt601_full: (116.16, 170.8, 90.8)
normalized_01: (0.251, 0.502, 0.7529)
normalized_minus1_to1: (-0.498, 0.0039, 0.5059)
rgba_on_white_encoded: (159, 191, 223)
rgba_on_white_linear: (191, 204, 226)

全范围示例保留浮点结果,若写入 8 位数据,需要按目标规范取整并裁剪。sRGB 编码值合成与线性光合成的结果不同。要做线性光合成,先把颜色转到线性空间,合成后再编码。Alpha 本身不做 sRGB 转换。

验证、排错与练习

出现整幅画面偏蓝或偏红时,先检查 RGB 与 BGR,而不是先调整白平衡。出现半透明头发边缘发黑时,检查透明度是否预乘以及合成背景。模型输出整体异常但图像肉眼正常时,重点核对归一化、数据类型和 HWC、CHW 维度顺序。

调试真实帧时,可以选取纯红、纯绿、纯蓝和半透明白色四个测试像素,逐级记录解码后、转换后、归一化后和模型输入前的数值。只要某一级不符合预期,就能把问题限定在对应转换步骤。

练习一:给定 1280 × 720、1024 × 1024 和 1080 × 1920,计算宽高比,并为 512 × 512 的模型输入设计裁剪或留边方案。验收条件是人物不被拉伸,并能说明被裁掉或补入的区域。

练习二:扩展示例,增加黑色背景合成,并实现均值为 (0.5, 0.5, 0.5)、标准差为 (0.5, 0.5, 0.5) 的逐通道标准化。验收条件是输出数值可手工复算,且 RGB 通道顺序保持不变。

本课总结

  • 尺寸、宽高比和像素格式是不同层次的信息,不能相互替代
  • 通道顺序、透明度语义、平面布局和归一化规则必须与上下游约定一致
  • 调试图像输入应逐级检查形状、类型、范围和已知像素,而不是只看最终画面

下一课预告

下一课将学习“视频帧率与时间戳”,把单张图像扩展到时间序列,并理解视频帧如何与音频采样点保持同步。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

图像尺寸、色彩与像素格式

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通