机器学习与深度学习 / 系统课时

理解 Dataset 接口

理解 Dataset 接口

Dataset 把“数据存在哪里、怎样按索引取出一个样本”封装成统一接口。掌握 __len__() 与 __getitem__() 后,就能把内存张量、图片文件或自定义记录接入 PyTorch 的数据加载流程。

学习目标

  • 理解 Dataset 中 __len__() 与 __getitem__() 的职责边界
  • 编写一个可以按整数索引读取样本的自定义数据集
  • 判断单样本返回结构是否能被 DataLoader 正常批处理

Dataset 只负责描述单样本读取

自定义数据集通常继承 torch.utils.data.Dataset,至少实现两个方法。__len__() 返回可索引样本总数,__getitem__(index) 根据整数索引返回一个样本。训练循环不需要知道样本来自张量、CSV 还是图片目录。

例如数据集有 3 条记录,则合法索引通常是 0、1、2。dataset[1] 实际会调用 dataset.__getitem__(1),而 len(dataset) 会调用 dataset.__len__()。

接口 输入 返回值 常见职责
__len__() 无 整数 返回样本数量
__getitem__(index) 整数索引 单个样本 读取、转换并返回指定样本

实现一个最小自定义 Dataset

下面的数据集保存 3 个二维特征和对应分类标签。代码可直接运行,只依赖已安装的 PyTorch。

python
import torch
from torch.utils.data import Dataset, DataLoader


class ToyDataset(Dataset):
    def __init__(self):
        self.features = torch.tensor([
            [1.0, 2.0],
            [3.0, 4.0],
            [5.0, 6.0],
        ])
        self.labels = torch.tensor([0, 1, 1], dtype=torch.long)

    def __len__(self):
        # 样本数必须与可读取索引范围一致。
        return self.labels.size(0)

    def __getitem__(self, index):
        # 这里只返回单个样本,不在 Dataset 内组装 batch。
        return self.features[index], self.labels[index]


dataset = ToyDataset()
print("length:", len(dataset))

x, y = dataset[1]
print("sample:", x.tolist(), int(y))

loader = DataLoader(dataset, batch_size=2, shuffle=False)
for batch_x, batch_y in loader:
    print("batch:", batch_x.tolist(), batch_y.tolist())

预期输出:

text
length: 3
sample: [3.0, 4.0] 1
batch: [[1.0, 2.0], [3.0, 4.0]] [0, 1]
batch: [[5.0, 6.0]] [1]

这个例子里,Dataset 每次只返回 (features[index], labels[index])。batch_size=2 的分组工作由 DataLoader 完成,所以最后一个批次只有 1 个样本也是正常结果。

设计返回值时保持结构稳定

__getitem__() 可以返回 Tensor、元组、字典以及这些类型组成的嵌套结构。关键要求是不同索引最好返回相同结构,例如始终返回 (image, label),而不要有时只返回图片、有时返回三元组。

真实分类项目常使用下面的形式:

python
class RecordDataset(Dataset):
    def __init__(self, features, labels):
        if len(features) != len(labels):
            raise ValueError("features and labels must have the same length")
        self.features = features
        self.labels = labels

    def __len__(self):
        return len(self.labels)

    def __getitem__(self, index):
        return {
            "features": self.features[index],
            "label": self.labels[index],
        }

生效行为与验证方法:dataset[0] 应始终得到同时包含 features 和 label 的字典;交给默认 DataLoader 后,同名字段会分别被批处理。如果各样本 Tensor 的形状不同,例如序列长度分别为 8、13、21,就不能直接依赖默认堆叠,应在后续使用自定义 collate_fn 做 padding 或其他整理。

排查长度与索引不一致

最常见错误是 __len__() 与真正可读取的数据数量不一致。例如特征有 100 条、标签只有 99 条,却返回 100,访问最后一项时就会越界。初始化阶段直接检查长度,可以让问题更早暴露。

可以用三个索引快速验收自定义数据集:0、len(dataset) - 1 以及一个中间索引。三者都应返回相同结构,且特征与标签属于同一条记录。只有在这层行为可靠后,再接入随机采样、多进程加载和训练循环,排错成本才不会被放大。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解 Dataset 接口

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通