机器学习与深度学习 / 系统课时

使用内置数据集

使用内置数据集

TorchVision 已封装 MNIST、CIFAR10、FashionMNIST 等常见视觉数据集,可以自动下载、解析并按 Dataset 接口读取。这里用 MNIST 完成从下载、张量转换到 DataLoader 批读取的完整流程。

学习目标

  • 使用 TorchVision 下载并实例化内置视觉数据集
  • 正确配置 root、train、download 和 transform
  • 验证单样本形状、数据类型以及批次形状

创建 MNIST 数据集

torchvision.datasets.MNIST 的几个关键参数分别控制数据目录、训练或测试划分、是否自动下载,以及读取样本时执行的变换。ToTensor() 会把 PIL 灰度图转换为形状 [1, 28, 28] 的浮点 Tensor,并把像素缩放到 [0, 1]。

python
from torchvision.datasets import MNIST
from torchvision.transforms import ToTensor

train_dataset = MNIST(
    root="./data",
    train=True,
    download=True,
    transform=ToTensor(),
)

print("samples:", len(train_dataset))
image, label = train_dataset[0]
print("shape:", tuple(image.shape))
print("dtype:", image.dtype)
print("label:", label)
print("range:", float(image.min()), float(image.max()))

首次运行时终端还会出现下载进度,其内容取决于 TorchVision 版本和缓存状态。下面只列程序自身打印的稳定结果。

预期输出:

text
samples: 60000
shape: (1, 28, 28)
dtype: torch.float32
label: 5
range: 0.0 1.0

MNIST 官方训练集固定包含 60000 个样本。train=False 则读取 10000 个测试样本。已经成功下载后,再次创建同一 root 下的数据集会直接使用本地文件,不需要重复下载。

理解四个常用参数

这些参数决定的是数据来源和单样本读取行为,而不是训练批次大小。

参数 示例值 作用
root "./data" 保存和查找数据文件的根目录
train True True 读取训练集,False 读取测试集
download True 本地缺少数据时允许下载
transform ToTensor() 每次读取图像后执行输入变换

如果服务器不能访问外网,可以先在可联网环境准备好数据目录,再复制到目标机器,并使用相同的 root。此时可把 download 设为 False;若目录不完整,构造数据集时会直接报错,而不是静默返回空数据。

接入 DataLoader 批量读取

内置数据集和自定义 Dataset 使用相同接口,因此可以直接传给 DataLoader。下面固定 shuffle=False,方便验证第一个批次的形状。

python
from torch.utils.data import DataLoader
from torchvision.datasets import MNIST
from torchvision.transforms import ToTensor

train_dataset = MNIST(
    root="./data",
    train=True,
    download=True,
    transform=ToTensor(),
)

loader = DataLoader(
    train_dataset,
    batch_size=64,
    shuffle=False,
    num_workers=0,
)

images, labels = next(iter(loader))
print("images:", tuple(images.shape))
print("labels:", tuple(labels.shape))
print("images dtype:", images.dtype)
print("labels dtype:", labels.dtype)

预期输出:

text
images: (64, 1, 28, 28)
labels: (64,)
images dtype: torch.float32
labels dtype: torch.int64

批次的第一维 64 来自 batch_size=64;后面的 1, 28, 28 是单张 MNIST 图片的通道、高度和宽度。这里使用 num_workers=0,数据读取发生在主进程中,适合先验证代码;确认数据流程正确后,再根据运行环境测试更高的 worker 数。

区分 transform 与 target_transform

视觉数据集通常允许分别处理输入和标签。transform 作用于图片,target_transform 作用于标签。例如可以把原始数字标签映射为“偶数/奇数”二分类,而不改变图片本身。

python
from torchvision.datasets import MNIST
from torchvision.transforms import ToTensor

binary_dataset = MNIST(
    root="./data",
    train=True,
    download=True,
    transform=ToTensor(),
    target_transform=lambda y: y % 2,
)

_, binary_label = binary_dataset[0]
print("binary label:", binary_label)

预期输出:

text
binary label: 1

MNIST 第一个训练样本的原始标签是 5,因此 5 % 2 得到 1。实际训练中更常把标准化、数据增强放在 transform,而把标签编码放在 target_transform。下载完成、单样本形状正确、标签语义正确且 DataLoader 能组成预期批次后,这个内置数据集就可以直接接入训练循环。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用内置数据集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通