机器学习与深度学习 / 系统课时

图像数据管线

图像数据管线

本课将把磁盘中的分类图片变成模型可直接消费的批次张量,并完成尺寸变换、归一化、类别编号和可视化检查。最终会得到一个可运行的 ImageFolder + DataLoader 管线,以及一张用于确认标签和像素是否正确的批次预览图。

学习目标

  • 使用 ImageFolder 按目录名建立类别映射并读取图像
  • 通过变换链统一尺寸、增强样本并完成张量归一化
  • 检查批次形状、标签范围和反归一化后的可视化结果

从目录结构建立类别映射

图像分类最常见的组织方式是“一个类别一个子目录”。ImageFolder 会按子目录名称的字典序生成整数标签,因此类别编号不是手写常量,而是由数据目录决定。

text
data/train/
├── cat/
│   ├── cat_0.png
│   └── cat_1.png
└── dog/
    ├── dog_0.png
    └── dog_1.png

读取后应立即检查 class_to_idx。训练、验证和推理阶段必须使用同一套映射,否则模型输出编号与业务类别名称会错位。

管线中的数据流

图像从文件到批次张量的数据流

变换链的顺序会影响结果。几何增强应放在 ToTensor 前后均可,但必须确认所用变换支持对应输入类型;归一化通常放在最后,使每个通道按指定均值和标准差缩放。训练集可以使用随机增强,验证集则应只保留确定性变换。

构建并检查可运行管线

下面的程序先创建一个最小分类数据集,再读取、变换、批处理并保存预览图。实际项目只需把 root 替换为自己的训练集目录。

python
from pathlib import Path

import matplotlib.pyplot as plt
import torch
from PIL import Image
from torchvision import datasets, transforms
from torchvision.utils import make_grid

root = Path("demo_images/train")
class_colors = {
    "cat": [(220, 80, 80), (200, 100, 100), (230, 70, 90), (210, 90, 70)],
    "dog": [(70, 110, 220), (80, 130, 210), (60, 100, 230), (90, 120, 200)],
}

# 创建可重复运行的最小目录数据集。
for class_name, colors in class_colors.items():
    class_dir = root / class_name
    class_dir.mkdir(parents=True, exist_ok=True)
    for index, color in enumerate(colors):
        Image.new("RGB", (80, 60), color).save(class_dir / f"{class_name}_{index}.png")

mean = (0.5, 0.5, 0.5)
std = (0.5, 0.5, 0.5)
train_transform = transforms.Compose([
    transforms.Resize((64, 64)),
    transforms.RandomHorizontalFlip(p=0.5),
    transforms.ToTensor(),
    transforms.Normalize(mean=mean, std=std),
])

dataset = datasets.ImageFolder(root=root, transform=train_transform)
loader = torch.utils.data.DataLoader(
    dataset,
    batch_size=4,
    shuffle=True,
    num_workers=0,
)

images, labels = next(iter(loader))
print("class_to_idx:", dataset.class_to_idx)
print("batch shape:", list(images.shape))
print("label range:", min(dataset.targets), "to", max(dataset.targets))

# 反归一化仅用于显示,不能把该结果送回模型训练。
preview = images * torch.tensor(std).view(1, 3, 1, 1)
preview = preview + torch.tensor(mean).view(1, 3, 1, 1)
grid = make_grid(preview.clamp(0, 1), nrow=4)

plt.figure(figsize=(10, 3))
plt.imshow(grid.permute(1, 2, 0))
plt.axis("off")
plt.tight_layout()
plt.savefig("batch_preview.png", dpi=150)
print("preview saved: batch_preview.png")

预期输出如下。批次中样本顺序会因 shuffle=True 而变化,但形状、类别映射和标签范围应保持一致。

text
class_to_idx: {'cat': 0, 'dog': 1}
batch shape: [4, 3, 64, 64]
label range: 0 to 1
preview saved: batch_preview.png

验证管线是否可靠

首先确认图像张量采用 B×C×H×W 排列,通道数与模型输入一致。其次检查标签最小值不小于 0、最大值小于类别数。最后打开 batch_preview.png,确认颜色、方向和类别没有明显异常。

常见问题包括灰度图与 RGB 图混用、训练集和验证集目录名称不一致、归一化参数与预训练模型要求不一致。使用预训练模型时,应优先采用其官方权重对应的输入尺寸和归一化配置。

Tips:数据增强只应用于训练集。验证集若包含随机裁剪或随机翻转,同一模型在多次评估时可能得到不同结果。

本课总结

  • ImageFolder 通过子目录名称建立类别编号,必须保存并复用 class_to_idx
  • 变换链负责统一输入规格,DataLoader 负责打乱、分批和并行读取
  • 批次形状、标签范围和反归一化预览是数据进入模型前的三项核心检查

下一课预告

下一课将基于模型预测结果计算准确率、混淆矩阵、精确率和召回率,并通过错误样本定位模型真正的薄弱类别。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

图像数据管线

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通