机器学习与深度学习 / 系统课时

使用内置数据集

使用内置数据集

公开数据集适合验证环境、练习训练流程和复现实验。本课以 torchvision.datasets.FashionMNIST 为例,完成自动下载、缓存复用、单样本检查和批量读取,最终得到可以直接送入图像模型的张量。

学习目标

  • 使用 torchvision 下载并缓存公开数据集
  • 检查单个样本的类型、形状和取值范围
  • 使用 DataLoader 验证批次维度是否正确

选择并准备 FashionMNIST

torchvision.datasets 提供多种图像数据集的统一封装。FashionMNIST 包含灰度服饰图片,训练集有 60000 个样本,每张图片大小为 28×28,并带有一个整数类别标签。

首次运行需要能够访问数据源。download=True 会在本地目录中查找数据;文件不存在时才下载,之后再次运行会直接复用缓存。

python
from pathlib import Path

import torch
from torch.utils.data import DataLoader
from torchvision import datasets, transforms

data_dir = Path("./data")

dataset = datasets.FashionMNIST(
    root=data_dir,
    train=True,
    download=True,
    # 将 PIL 图片转换为 [0, 1] 范围内的张量
    transform=transforms.ToTensor(),
)

image, label = dataset[0]
loader = DataLoader(
    dataset,
    batch_size=64,
    shuffle=True,
    num_workers=0,
)
batch_images, batch_labels = next(iter(loader))

print("dataset:", type(dataset).__name__)
print("samples:", len(dataset))
print("single image:", tuple(image.shape), image.dtype)
print("single label type:", type(label).__name__)
print("pixel range:", float(image.min()), float(image.max()))
print("batch images:", tuple(batch_images.shape))
print("batch labels:", tuple(batch_labels.shape))

预期输出:

text
dataset: FashionMNIST
samples: 60000
single image: (1, 28, 28) torch.float32
single label type: int
pixel range: 0.0 1.0
batch images: (64, 1, 28, 28)
batch labels: (64,)

首次下载时还会出现进度信息,具体速度和文本可能不同。核心检查结果应一致:单张图片形状为 (1, 28, 28),批次图片形状为 (64, 1, 28, 28)。

理解构造参数

root 指定数据目录,数据集会在该目录下创建自己的缓存结构。项目中通常使用相对目录或通过配置传入路径,避免把个人机器的绝对路径写死在代码里。

train=True 选择训练集,改为 train=False 即可读取测试集。训练集和测试集应使用同一个 root,但要分别创建数据集对象,避免在评估阶段误用训练数据。

transform 处理输入图片。未设置时,FashionMNIST 返回 PIL 图片;使用 ToTensor() 后,图片会变成形状为 [通道, 高度, 宽度] 的 torch.Tensor,像素值也会缩放到 [0, 1]。

target_transform 可单独处理标签,常见于标签重映射。基础分类任务通常不需要设置,因为默认整数标签已经可以直接用于交叉熵损失。

从单样本到批次

访问 dataset[0] 得到的是一个 (image, label) 二元组。此时图片没有批次维度,形状中的 1 表示灰度通道,而不是样本数量。

DataLoader 会把 64 张图片沿新的第一维堆叠,因此批次形状变为 (64, 1, 28, 28)。标签则合并为长度 64 的一维张量。模型通常接收批次图片,损失函数同时接收模型输出和这批标签。

示例将 num_workers 设为 0,便于在 Windows、macOS、Linux 和 Notebook 中直接运行。确认程序正确后,再根据机器性能增加工作进程数量。

下载失败与缓存检查

若下载阶段出现连接超时、证书错误或代理错误,先确认运行环境能够访问数据源。企业网络环境可能需要配置代理,离线环境则应预先下载数据并放入 root 对应目录。

若程序反复下载,通常是 root 改变、目录权限不足或缓存文件不完整。可以固定数据目录,确认进程对该目录具有读写权限,再删除损坏的临时文件后重新执行。

不要仅凭“下载成功”判断数据可用。至少检查样本数量、图片形状、数据类型、像素范围和批次形状;这些信息能尽早发现数据集选错、转换遗漏或维度不符合模型要求的问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用内置数据集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通