机器学习与深度学习 / 系统课时

数据管道的组成

数据管道的组成

训练代码不应直接把原始文件塞进模型。本课把一条完整数据管道拆成原始数据、样本转换、数据集、采样器和批量加载器,帮助你判断每个组件负责什么,并搭建一个可运行的最小批量读取流程。

学习目标

  • 说明数据管道五个核心环节的职责和连接顺序
  • 区分 Dataset、Sampler 与 DataLoader 的边界
  • 使用最小示例生成可直接送入模型的批次张量

从原始数据到训练批次

原始数据可以是图片文件、文本、表格或内存中的张量。它们通常不能直接进入模型,需要先定位单个样本,再执行解码、裁剪、归一化或张量转换,最后按训练策略组成批次。

一条常见链路是:原始数据由 Dataset 管理,样本转换在读取单个样本时执行,Sampler 决定本轮访问哪些索引及其顺序,DataLoader 根据索引取样并合并为批次。

PyTorch 数据管道组件关系图

Dataset 定义单个样本

Dataset 解决的是“给定索引,如何得到一个样本”。映射式数据集通常实现 __len__() 和 __getitem__():前者返回样本总数,后者根据索引返回特征、标签或其他字段。

样本转换适合放在 __getitem__() 的读取路径中。这样每次取样时都能统一处理数据,也便于在训练集和验证集之间使用不同转换规则。

python
import torch
from torch.utils.data import DataLoader, Dataset, SequentialSampler

class NumberDataset(Dataset):
    def __init__(self) -> None:
        self.features = torch.arange(12, dtype=torch.float32).reshape(6, 2)

    def __len__(self) -> int:
        return len(self.features)

    def __getitem__(self, index: int) -> torch.Tensor:
        # 在返回样本前完成缩放,模拟常见的预处理步骤
        return self.features[index] / 10

dataset = NumberDataset()
sampler = SequentialSampler(dataset)
loader = DataLoader(dataset, batch_size=2, sampler=sampler)

for batch_index, batch in enumerate(loader):
    print(f"batch {batch_index}: shape={tuple(batch.shape)}, values={batch.tolist()}")

预期输出:

text
batch 0: shape=(2, 2), values=[[0.0, 0.10000000149011612], [0.20000000298023224, 0.30000001192092896]]
batch 1: shape=(2, 2), values=[[0.4000000059604645, 0.5], [0.6000000238418579, 0.699999988079071]]
batch 2: shape=(2, 2), values=[[0.800000011920929, 0.8999999761581421], [1.0, 1.100000023841858]]

浮点数的末尾可能因运行环境略有差异,但批次数量、形状和样本顺序应保持一致。

Sampler 与 DataLoader 如何协作

Sampler 只负责产生索引,不负责读取文件或执行转换。顺序采样器按 0, 1, 2... 返回索引;随机采样器会打乱顺序;更复杂的采样器还能实现类别均衡或分布式切分。

DataLoader 是调度者。它接收数据集和采样策略,按索引获取样本,再通过默认或自定义的 collate_fn 将多个样本拼成批次。配置 num_workers 后,它还可以使用多个工作进程并行准备数据。

组件 核心职责 不负责的内容
原始数据 保存真实样本内容 决定训练顺序
Transform 转换单个样本 组织批次
Dataset 根据索引返回样本 决定索引顺序
Sampler 生成访问索引 解码和转换样本
DataLoader 调度取样并组成批次 定义模型计算

关键边界与常见误区

设置 batch_size=32 不会改变数据集长度,只表示每次迭代最多返回 32 个样本。最后一个批次可能不足 32 个;只有设置 drop_last=True 才会丢弃这个不完整批次。

shuffle=True 是创建随机采样器的便捷方式。显式传入 sampler 时不要再同时设置 shuffle=True,否则配置含义冲突,DataLoader 会拒绝创建。

数据管道的性能瓶颈也不一定在模型。若 GPU 经常等待,应该检查文件读取、样本转换、批次拼接和工作进程数量,而不是只调整模型结构。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

数据管道的组成

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通