机器学习与深度学习 / 系统课时

使用图像预处理变换

使用图像预处理变换

图像模型通常要求固定的空间尺寸、通道顺序、数据类型和归一化范围。本课用 torchvision.transforms.v2 组合缩放、中心裁剪、张量转换与标准化,并通过一个可重复的常量图像检查最终 shape、dtype 和数值是否符合模型输入要求。

学习目标

  • 能按正确顺序组合 Resize、CenterCrop、ToImage、ToDtype 和 Normalize。
  • 能为常见 ImageNet 预训练模型准备 3×224×224 的 float32 输入。
  • 能区分训练期随机增强与验证、推理期确定性预处理。

按模型输入尺寸安排变换顺序

以需要 224×224 RGB 输入的分类模型为例,可先用 Resize(256) 把短边缩放到 256,再执行 CenterCrop(224)。整数形式的 Resize(256) 会保留长宽比;例如原图为 320×240,缩放后约为 341×256,随后从中心裁出 224×224。

空间变换完成后,v2.ToImage() 把 PIL 图像或 ndarray 转成 TorchVision 图像对象,v2.ToDtype(torch.float32, scale=True) 再把 uint8 的 0~255 缩放到浮点 0~1。Normalize 必须放在浮点转换之后,否则输入范围与均值、标准差不匹配。

从原始图像到标准化张量的预处理流水线

写出可运行的预处理流水线

下面示例使用纯色 PIL 图像,因此缩放和裁剪不会引入难以预测的内容变化,适合检查整个变换链。代码采用 TorchVision 的 v2 API;已有 v1 项目也能继续工作,但新代码更适合直接使用 torchvision.transforms.v2。

python
import torch
from PIL import Image
from torchvision.transforms import v2

transform = v2.Compose([
    v2.Resize(256, antialias=True),
    v2.CenterCrop(224),
    v2.ToImage(),
    v2.ToDtype(torch.float32, scale=True),
    v2.Normalize(
        mean=[0.485, 0.456, 0.406],
        std=[0.229, 0.224, 0.225],
    ),
])

image = Image.new("RGB", (320, 240), color=(128, 64, 32))
out = transform(image)

means = [round(v, 4) for v in out.mean(dim=(1, 2)).tolist()]
print("shape:", tuple(out.shape))
print("dtype:", out.dtype)
print("channel_means:", means)

预期输出:

text
shape: (3, 224, 224)
dtype: torch.float32
channel_means: [0.0741, -0.9153, -1.2467]

输出中的三个均值分别对应 R、G、B 通道。因为输入是纯色图像,裁剪后每个通道仍为常数,所以可以精确验证标准化是否按预期执行。

让标准化参数与模型保持一致

ImageNet 常见预训练权重使用 mean=[0.485, 0.456, 0.406]、std=[0.229, 0.224, 0.225]。标准化对每个通道执行 x′=(x−mean)/stdx'=(x-mean)/std;例如红通道原值 128 转为 128/255≈0.502 后,结果约为 (0.502-0.485)/0.229≈0.074。

这些数值不是所有模型都通用。使用模型权重自带的官方预处理配置时,应优先遵循对应权重文档;训练自有模型时,若决定使用自己数据集的均值和标准差,也必须让训练、验证和线上推理使用同一组参数。预处理不一致会让模型看到与训练阶段不同的数值分布,即使 shape 完全正确也可能明显掉点。

分开训练与验证预处理

训练集需要随机性来增加样本变化,验证与推理则应保持确定性,才能让同一张图每次得到相同输入。一个常用划分是:训练使用 RandomResizedCrop(224) 和 RandomHorizontalFlip(p=0.5),验证使用 Resize(256) 加 CenterCrop(224);两条流水线最后都使用相同的 ToImage、ToDtype(..., scale=True) 与 Normalize。

不要在验证集继续使用随机裁剪来“保持和训练一致”,否则评估指标会随随机区域变化。反过来,只在训练阶段使用中心裁剪也会减少数据增强效果,尤其是主体位置变化较大的图像分类任务。

用三个检查点验收预处理

第一,检查 shape。单张 RGB 图像应得到 [3,224,224];进入 DataLoader 后,batch 通常是 [N,3,224,224]。第二,检查 dtype,标准化前必须已经是浮点类型,常见为 torch.float32。第三,抽样查看数值和图像内容,避免把 HWC 当成 CHW、把灰度图当三通道图,或重复除以 255。

若输入是单通道灰度图,而模型固定要求 3 通道,可在流水线前加入 v2.Grayscale(num_output_channels=3);若模型本身按单通道训练,则不要为了凑成 RGB 擅自复制通道。预处理的验收标准不是“代码能运行”,而是输出尺寸、类型、通道数和标准化规则与模型训练时完全一致。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用图像预处理变换

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通