机器学习与深度学习 / 系统课时

统一训练与推理预处理

统一训练与推理预处理

部署分类模型时,最容易被忽略的误差来源不是权重,而是输入处理不一致。本节把颜色模式、尺寸、数值范围和归一化集中到同一套确定性流程中,再用可执行检查确认训练共享段与推理端得到相同张量语义。

学习目标

  • 把训练专属增强与训练、推理共享的确定性预处理分开
  • 统一 RGB、输入尺寸、数值范围与归一化参数
  • 用自动检查验证推理预处理的形状、类型与稳定性

划清共享步骤与训练增强

训练阶段可以保留随机翻转、颜色抖动等增强,但这些随机操作不应进入在线推理。真正必须共享的是输入契约:先修正图像方向并转成 RGB,再使用约定的插值方式调整到固定尺寸,把像素缩放到模型训练时的数值范围,最后使用同一组均值和标准差归一化。

训练端与推理端不需要逐行代码完全相同,但下面这些语义必须相同:

检查项 训练共享段 推理端
颜色通道 RGB RGB
尺寸 224×224 224×224
张量范围 0..1 后再归一化 0..1 后再归一化
均值与标准差 同一组参数 同一组参数

随机增强应放在共享段之前。这样既保留训练时的数据扰动,又不会把随机性或另一套缩放逻辑带到服务端。

实现单一共享预处理

下面示例使用 Pillow 与 torchvision。common_transform 是训练和推理共同依赖的确定性部分,train_preprocess 只在前面追加训练专属的随机水平翻转。ImageOps.exif_transpose 用来消除相机方向元数据导致的宽高和朝向差异。

python
from PIL import Image, ImageOps
import torch
from torchvision import transforms
from torchvision.transforms import InterpolationMode

MEAN = (0.485, 0.456, 0.406)
STD = (0.229, 0.224, 0.225)

common_transform = transforms.Compose([
    transforms.Resize(
        (224, 224),
        interpolation=InterpolationMode.BILINEAR,
        antialias=True,
    ),
    transforms.ToTensor(),
    transforms.Normalize(mean=MEAN, std=STD),
])

train_augment = transforms.RandomHorizontalFlip(p=0.5)

def prepare_rgb(image: Image.Image) -> Image.Image:
    return ImageOps.exif_transpose(image).convert('RGB')

def train_preprocess(image: Image.Image) -> torch.Tensor:
    image = train_augment(prepare_rgb(image))
    return common_transform(image)

def infer_preprocess(image: Image.Image) -> torch.Tensor:
    return common_transform(prepare_rgb(image))

image = Image.new('RGB', (320, 240), color=(255, 0, 0))
first = infer_preprocess(image)
second = infer_preprocess(image)

print('shape:', tuple(first.shape))
print('dtype:', first.dtype)
print('repeat_equal:', torch.equal(first, second))
print('min_max:', f'{first.min().item():.4f}', f'{first.max().item():.4f}')

预期输出

text
shape: (3, 224, 224)
dtype: torch.float32
repeat_equal: True
min_max: -2.0357 2.2489

repeat_equal: True 证明推理流程本身没有随机步骤。形状固定为三通道 224×224,类型为 float32;示例红色图像归一化后的最小值和最大值也与给定的 MEAN、STD 一致。

把预处理当作模型契约

部署时应把预处理参数和模型版本一起发布。至少记录输入颜色空间、目标尺寸、裁剪或缩放策略、插值方式、输入数值范围、均值、标准差,以及是否处理 EXIF 方向。服务端更换图像库时,也要重新验证这些语义。

最常见的隐蔽差异是 OpenCV 默认读取 BGR,而训练代码按 RGB;另一类问题是训练端按短边缩放再裁剪,服务端却直接拉伸到目标尺寸。两者都能生成形状正确的张量,却会改变像素含义,因此不能只检查 shape。

用样本对齐做上线前验收

上线前选一小组固定样本,让训练代码的共享预处理与服务端预处理分别导出模型输入张量,再比较形状、通道顺序、最大最小值、均值和逐元素误差。若两端使用不同语言或图像库,优先比较预处理后的张量,而不是只比较原始图片。

可以把逐元素最大绝对误差作为自动化门禁:完全同实现时应接近 0;不同解码器或插值实现可能出现微小差异,此时应根据模型容忍度制定明确阈值,并把超阈值视为部署失败。这样,训练效果与线上效果之间就不会因为“看起来差不多”的预处理细节悄悄分叉。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

统一训练与推理预处理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通