机器学习与深度学习 / 系统课时

构建数据增强流程

构建数据增强流程

数据增强的目标是在不新增人工标注的前提下,让同一训练样本以不同外观进入模型,同时保持标签语义不变。本课用 torchvision.transforms 组合随机裁剪、翻转、旋转和颜色扰动,并把训练增强与验证预处理严格分开。

学习目标

  • 能用 transforms.Compose 组合一条可复用的图像增强流水线。
  • 能为训练集和验证集配置不同变换,并验证输出尺寸、类型和值域。
  • 能根据任务边界选择翻转、旋转和颜色扰动的合理强度。

训练增强该放在哪里

增强应放在 Dataset 读取样本之后、模型前向之前,而且只对训练样本启用随机变换。验证集和测试集需要可重复,因此通常只保留确定性的缩放、裁剪和张量转换。

训练增强与验证预处理的两条数据流水线

以普通自然图像分类为例,可先用以下范围起步:水平翻转概率 0.5,旋转角度 ±10°,亮度、对比度和饱和度扰动 0.2,色相扰动 0.05。如果标签依赖方向,例如数字 6 与 9、文字识别或医学影像左右侧信息,就不要机械启用翻转或大角度旋转。

构建训练与验证变换

下面示例适用于 PyTorch 2.x 与 torchvision 经典 transforms API。训练流水线保留随机性,验证流水线使用确定性预处理;两者最后都输出形状为 [3, 224, 224] 的 float32 张量。

python
import torch
from torchvision import datasets, transforms

train_transform = transforms.Compose([
    transforms.RandomResizedCrop(224, scale=(0.8, 1.0)),
    transforms.RandomHorizontalFlip(p=0.5),
    transforms.RandomRotation(degrees=10),
    transforms.ColorJitter(
        brightness=0.2,
        contrast=0.2,
        saturation=0.2,
        hue=0.05,
    ),
    transforms.ToTensor(),
])

val_transform = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
])

train_set = datasets.FakeData(
    size=4,
    image_size=(3, 256, 256),
    num_classes=2,
    transform=train_transform,
)
val_set = datasets.FakeData(
    size=4,
    image_size=(3, 256, 256),
    num_classes=2,
    transform=val_transform,
)

train_x, train_y = train_set[0]
val_x, val_y = val_set[0]

print(train_x.shape, train_x.dtype)
print(val_x.shape, val_x.dtype)
print(bool((0.0 <= train_x.min()) and (train_x.max() <= 1.0)))
print(bool((0.0 <= val_x.min()) and (val_x.max() <= 1.0)))

预期输出

text
torch.Size([3, 224, 224]) torch.float32
torch.Size([3, 224, 224]) torch.float32
True
True

FakeData 不需要下载真实图片,适合先验证管线能否运行。换成 ImageFolder 时,只需把对应的 transform 传给训练集和验证集;若模型还要求标准化,再把 transforms.Normalize(mean=..., std=...) 放在 ToTensor() 之后。

接入 Dataset 时避免数据泄漏

真实项目中最常见的错误,是先对完整数据集做随机增强,再切分训练集和验证集。这样可能让同一原图的不同增强版本分别进入两个集合,验证指标会虚高。正确顺序是先固定索引或目录完成切分,再为每个集合绑定自己的变换。

使用 ImageFolder 时,可以让两个目录分别指向 train/ 与 val/;如果必须从同一个目录按索引切分,则为训练子集和验证子集创建独立的 Dataset 实例,分别传入 train_transform 与 val_transform。验收时至少检查三项:训练与验证样本数符合切分比例、验证样本多次读取结果一致、模型输入尺寸一致。

控制增强强度与边界

增强不是越强越好。可把“增强后仍应保持标签不变”作为硬约束,再逐项调参。自然图像分类可从 scale=(0.8, 1.0)、旋转 10°、颜色扰动 0.2 起步;小目标检测若裁剪过强,目标可能直接被裁掉,应提高 scale 下限,例如改为 0.9。

实际验收不要只看训练损失。固定一份不带随机增强的验证集,比较开启增强前后的验证指标;如果训练准确率下降而验证指标提升,通常说明正则化有效。若训练和验证都明显恶化,应先减小旋转、裁剪和颜色扰动幅度,而不是继续叠加更多随机操作。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构建数据增强流程

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通