机器学习与深度学习 / 系统课时
使用内置数据集
使用内置数据集
TorchVision 已封装 MNIST、CIFAR10、FashionMNIST 等常见视觉数据集,可以自动下载、解析并按 Dataset 接口读取。这里用 MNIST 完成从下载、张量转换到 DataLoader 批读取的完整流程。
学习目标
- 使用 TorchVision 下载并实例化内置视觉数据集
- 正确配置
root、train、download和transform - 验证单样本形状、数据类型以及批次形状
创建 MNIST 数据集
torchvision.datasets.MNIST 的几个关键参数分别控制数据目录、训练或测试划分、是否自动下载,以及读取样本时执行的变换。ToTensor() 会把 PIL 灰度图转换为形状 [1, 28, 28] 的浮点 Tensor,并把像素缩放到 [0, 1]。
from torchvision.datasets import MNIST
from torchvision.transforms import ToTensor
train_dataset = MNIST(
root="./data",
train=True,
download=True,
transform=ToTensor(),
)
print("samples:", len(train_dataset))
image, label = train_dataset[0]
print("shape:", tuple(image.shape))
print("dtype:", image.dtype)
print("label:", label)
print("range:", float(image.min()), float(image.max()))首次运行时终端还会出现下载进度,其内容取决于 TorchVision 版本和缓存状态。下面只列程序自身打印的稳定结果。
预期输出:
samples: 60000
shape: (1, 28, 28)
dtype: torch.float32
label: 5
range: 0.0 1.0MNIST 官方训练集固定包含 60000 个样本。train=False 则读取 10000 个测试样本。已经成功下载后,再次创建同一 root 下的数据集会直接使用本地文件,不需要重复下载。
理解四个常用参数
这些参数决定的是数据来源和单样本读取行为,而不是训练批次大小。
| 参数 | 示例值 | 作用 |
|---|---|---|
root |
"./data" |
保存和查找数据文件的根目录 |
train |
True |
True 读取训练集,False 读取测试集 |
download |
True |
本地缺少数据时允许下载 |
transform |
ToTensor() |
每次读取图像后执行输入变换 |
如果服务器不能访问外网,可以先在可联网环境准备好数据目录,再复制到目标机器,并使用相同的 root。此时可把 download 设为 False;若目录不完整,构造数据集时会直接报错,而不是静默返回空数据。
接入 DataLoader 批量读取
内置数据集和自定义 Dataset 使用相同接口,因此可以直接传给 DataLoader。下面固定 shuffle=False,方便验证第一个批次的形状。
from torch.utils.data import DataLoader
from torchvision.datasets import MNIST
from torchvision.transforms import ToTensor
train_dataset = MNIST(
root="./data",
train=True,
download=True,
transform=ToTensor(),
)
loader = DataLoader(
train_dataset,
batch_size=64,
shuffle=False,
num_workers=0,
)
images, labels = next(iter(loader))
print("images:", tuple(images.shape))
print("labels:", tuple(labels.shape))
print("images dtype:", images.dtype)
print("labels dtype:", labels.dtype)预期输出:
images: (64, 1, 28, 28)
labels: (64,)
images dtype: torch.float32
labels dtype: torch.int64批次的第一维 64 来自 batch_size=64;后面的 1, 28, 28 是单张 MNIST 图片的通道、高度和宽度。这里使用 num_workers=0,数据读取发生在主进程中,适合先验证代码;确认数据流程正确后,再根据运行环境测试更高的 worker 数。
区分 transform 与 target_transform
视觉数据集通常允许分别处理输入和标签。transform 作用于图片,target_transform 作用于标签。例如可以把原始数字标签映射为“偶数/奇数”二分类,而不改变图片本身。
from torchvision.datasets import MNIST
from torchvision.transforms import ToTensor
binary_dataset = MNIST(
root="./data",
train=True,
download=True,
transform=ToTensor(),
target_transform=lambda y: y % 2,
)
_, binary_label = binary_dataset[0]
print("binary label:", binary_label)预期输出:
binary label: 1MNIST 第一个训练样本的原始标签是 5,因此 5 % 2 得到 1。实际训练中更常把标准化、数据增强放在 transform,而把标签编码放在 target_transform。下载完成、单样本形状正确、标签语义正确且 DataLoader 能组成预期批次后,这个内置数据集就可以直接接入训练循环。