机器学习与深度学习 / 系统课时
使用图像预处理变换
使用图像预处理变换
图像模型通常要求固定的空间尺寸、通道顺序、数据类型和归一化范围。本课用 torchvision.transforms.v2 组合缩放、中心裁剪、张量转换与标准化,并通过一个可重复的常量图像检查最终 shape、dtype 和数值是否符合模型输入要求。
学习目标
- 能按正确顺序组合
Resize、CenterCrop、ToImage、ToDtype和Normalize。 - 能为常见 ImageNet 预训练模型准备
3×224×224的float32输入。 - 能区分训练期随机增强与验证、推理期确定性预处理。
按模型输入尺寸安排变换顺序
以需要 224×224 RGB 输入的分类模型为例,可先用 Resize(256) 把短边缩放到 256,再执行 CenterCrop(224)。整数形式的 Resize(256) 会保留长宽比;例如原图为 320×240,缩放后约为 341×256,随后从中心裁出 224×224。
空间变换完成后,v2.ToImage() 把 PIL 图像或 ndarray 转成 TorchVision 图像对象,v2.ToDtype(torch.float32, scale=True) 再把 uint8 的 0~255 缩放到浮点 0~1。Normalize 必须放在浮点转换之后,否则输入范围与均值、标准差不匹配。

写出可运行的预处理流水线
下面示例使用纯色 PIL 图像,因此缩放和裁剪不会引入难以预测的内容变化,适合检查整个变换链。代码采用 TorchVision 的 v2 API;已有 v1 项目也能继续工作,但新代码更适合直接使用 torchvision.transforms.v2。
import torch
from PIL import Image
from torchvision.transforms import v2
transform = v2.Compose([
v2.Resize(256, antialias=True),
v2.CenterCrop(224),
v2.ToImage(),
v2.ToDtype(torch.float32, scale=True),
v2.Normalize(
mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225],
),
])
image = Image.new("RGB", (320, 240), color=(128, 64, 32))
out = transform(image)
means = [round(v, 4) for v in out.mean(dim=(1, 2)).tolist()]
print("shape:", tuple(out.shape))
print("dtype:", out.dtype)
print("channel_means:", means)预期输出:
shape: (3, 224, 224)
dtype: torch.float32
channel_means: [0.0741, -0.9153, -1.2467]输出中的三个均值分别对应 R、G、B 通道。因为输入是纯色图像,裁剪后每个通道仍为常数,所以可以精确验证标准化是否按预期执行。
让标准化参数与模型保持一致
ImageNet 常见预训练权重使用 mean=[0.485, 0.456, 0.406]、std=[0.229, 0.224, 0.225]。标准化对每个通道执行 ;例如红通道原值 128 转为 128/255≈0.502 后,结果约为 (0.502-0.485)/0.229≈0.074。
这些数值不是所有模型都通用。使用模型权重自带的官方预处理配置时,应优先遵循对应权重文档;训练自有模型时,若决定使用自己数据集的均值和标准差,也必须让训练、验证和线上推理使用同一组参数。预处理不一致会让模型看到与训练阶段不同的数值分布,即使 shape 完全正确也可能明显掉点。
分开训练与验证预处理
训练集需要随机性来增加样本变化,验证与推理则应保持确定性,才能让同一张图每次得到相同输入。一个常用划分是:训练使用 RandomResizedCrop(224) 和 RandomHorizontalFlip(p=0.5),验证使用 Resize(256) 加 CenterCrop(224);两条流水线最后都使用相同的 ToImage、ToDtype(..., scale=True) 与 Normalize。
不要在验证集继续使用随机裁剪来“保持和训练一致”,否则评估指标会随随机区域变化。反过来,只在训练阶段使用中心裁剪也会减少数据增强效果,尤其是主体位置变化较大的图像分类任务。
用三个检查点验收预处理
第一,检查 shape。单张 RGB 图像应得到 [3,224,224];进入 DataLoader 后,batch 通常是 [N,3,224,224]。第二,检查 dtype,标准化前必须已经是浮点类型,常见为 torch.float32。第三,抽样查看数值和图像内容,避免把 HWC 当成 CHW、把灰度图当三通道图,或重复除以 255。
若输入是单通道灰度图,而模型固定要求 3 通道,可在流水线前加入 v2.Grayscale(num_output_channels=3);若模型本身按单通道训练,则不要为了凑成 RGB 擅自复制通道。预处理的验收标准不是“代码能运行”,而是输出尺寸、类型、通道数和标准化规则与模型训练时完全一致。