机器学习与深度学习 / 系统课时
使用内置数据集
使用内置数据集
公开数据集适合验证环境、练习训练流程和复现实验。本课以 torchvision.datasets.FashionMNIST 为例,完成自动下载、缓存复用、单样本检查和批量读取,最终得到可以直接送入图像模型的张量。
学习目标
- 使用
torchvision下载并缓存公开数据集 - 检查单个样本的类型、形状和取值范围
- 使用
DataLoader验证批次维度是否正确
选择并准备 FashionMNIST
torchvision.datasets 提供多种图像数据集的统一封装。FashionMNIST 包含灰度服饰图片,训练集有 60000 个样本,每张图片大小为 28×28,并带有一个整数类别标签。
首次运行需要能够访问数据源。download=True 会在本地目录中查找数据;文件不存在时才下载,之后再次运行会直接复用缓存。
from pathlib import Path
import torch
from torch.utils.data import DataLoader
from torchvision import datasets, transforms
data_dir = Path("./data")
dataset = datasets.FashionMNIST(
root=data_dir,
train=True,
download=True,
# 将 PIL 图片转换为 [0, 1] 范围内的张量
transform=transforms.ToTensor(),
)
image, label = dataset[0]
loader = DataLoader(
dataset,
batch_size=64,
shuffle=True,
num_workers=0,
)
batch_images, batch_labels = next(iter(loader))
print("dataset:", type(dataset).__name__)
print("samples:", len(dataset))
print("single image:", tuple(image.shape), image.dtype)
print("single label type:", type(label).__name__)
print("pixel range:", float(image.min()), float(image.max()))
print("batch images:", tuple(batch_images.shape))
print("batch labels:", tuple(batch_labels.shape))预期输出:
dataset: FashionMNIST
samples: 60000
single image: (1, 28, 28) torch.float32
single label type: int
pixel range: 0.0 1.0
batch images: (64, 1, 28, 28)
batch labels: (64,)首次下载时还会出现进度信息,具体速度和文本可能不同。核心检查结果应一致:单张图片形状为 (1, 28, 28),批次图片形状为 (64, 1, 28, 28)。
理解构造参数
root 指定数据目录,数据集会在该目录下创建自己的缓存结构。项目中通常使用相对目录或通过配置传入路径,避免把个人机器的绝对路径写死在代码里。
train=True 选择训练集,改为 train=False 即可读取测试集。训练集和测试集应使用同一个 root,但要分别创建数据集对象,避免在评估阶段误用训练数据。
transform 处理输入图片。未设置时,FashionMNIST 返回 PIL 图片;使用 ToTensor() 后,图片会变成形状为 [通道, 高度, 宽度] 的 torch.Tensor,像素值也会缩放到 [0, 1]。
target_transform 可单独处理标签,常见于标签重映射。基础分类任务通常不需要设置,因为默认整数标签已经可以直接用于交叉熵损失。
从单样本到批次
访问 dataset[0] 得到的是一个 (image, label) 二元组。此时图片没有批次维度,形状中的 1 表示灰度通道,而不是样本数量。
DataLoader 会把 64 张图片沿新的第一维堆叠,因此批次形状变为 (64, 1, 28, 28)。标签则合并为长度 64 的一维张量。模型通常接收批次图片,损失函数同时接收模型输出和这批标签。
示例将 num_workers 设为 0,便于在 Windows、macOS、Linux 和 Notebook 中直接运行。确认程序正确后,再根据机器性能增加工作进程数量。
下载失败与缓存检查
若下载阶段出现连接超时、证书错误或代理错误,先确认运行环境能够访问数据源。企业网络环境可能需要配置代理,离线环境则应预先下载数据并放入 root 对应目录。
若程序反复下载,通常是 root 改变、目录权限不足或缓存文件不完整。可以固定数据目录,确认进程对该目录具有读写权限,再删除损坏的临时文件后重新执行。
不要仅凭“下载成功”判断数据可用。至少检查样本数量、图片形状、数据类型、像素范围和批次形状;这些信息能尽早发现数据集选错、转换遗漏或维度不符合模型要求的问题。