机器学习与深度学习 / 系统课时
理解 Dataset 接口
理解 Dataset 接口
Dataset 把“数据存在哪里、怎样按索引取出一个样本”封装成统一接口。掌握 __len__() 与 __getitem__() 后,就能把内存张量、图片文件或自定义记录接入 PyTorch 的数据加载流程。
学习目标
- 理解
Dataset中__len__()与__getitem__()的职责边界 - 编写一个可以按整数索引读取样本的自定义数据集
- 判断单样本返回结构是否能被
DataLoader正常批处理
Dataset 只负责描述单样本读取
自定义数据集通常继承 torch.utils.data.Dataset,至少实现两个方法。__len__() 返回可索引样本总数,__getitem__(index) 根据整数索引返回一个样本。训练循环不需要知道样本来自张量、CSV 还是图片目录。
例如数据集有 3 条记录,则合法索引通常是 0、1、2。dataset[1] 实际会调用 dataset.__getitem__(1),而 len(dataset) 会调用 dataset.__len__()。
| 接口 | 输入 | 返回值 | 常见职责 |
|---|---|---|---|
__len__() |
无 | 整数 | 返回样本数量 |
__getitem__(index) |
整数索引 | 单个样本 | 读取、转换并返回指定样本 |
实现一个最小自定义 Dataset
下面的数据集保存 3 个二维特征和对应分类标签。代码可直接运行,只依赖已安装的 PyTorch。
import torch
from torch.utils.data import Dataset, DataLoader
class ToyDataset(Dataset):
def __init__(self):
self.features = torch.tensor([
[1.0, 2.0],
[3.0, 4.0],
[5.0, 6.0],
])
self.labels = torch.tensor([0, 1, 1], dtype=torch.long)
def __len__(self):
# 样本数必须与可读取索引范围一致。
return self.labels.size(0)
def __getitem__(self, index):
# 这里只返回单个样本,不在 Dataset 内组装 batch。
return self.features[index], self.labels[index]
dataset = ToyDataset()
print("length:", len(dataset))
x, y = dataset[1]
print("sample:", x.tolist(), int(y))
loader = DataLoader(dataset, batch_size=2, shuffle=False)
for batch_x, batch_y in loader:
print("batch:", batch_x.tolist(), batch_y.tolist())预期输出:
length: 3
sample: [3.0, 4.0] 1
batch: [[1.0, 2.0], [3.0, 4.0]] [0, 1]
batch: [[5.0, 6.0]] [1]这个例子里,Dataset 每次只返回 (features[index], labels[index])。batch_size=2 的分组工作由 DataLoader 完成,所以最后一个批次只有 1 个样本也是正常结果。
设计返回值时保持结构稳定
__getitem__() 可以返回 Tensor、元组、字典以及这些类型组成的嵌套结构。关键要求是不同索引最好返回相同结构,例如始终返回 (image, label),而不要有时只返回图片、有时返回三元组。
真实分类项目常使用下面的形式:
class RecordDataset(Dataset):
def __init__(self, features, labels):
if len(features) != len(labels):
raise ValueError("features and labels must have the same length")
self.features = features
self.labels = labels
def __len__(self):
return len(self.labels)
def __getitem__(self, index):
return {
"features": self.features[index],
"label": self.labels[index],
}生效行为与验证方法:dataset[0] 应始终得到同时包含 features 和 label 的字典;交给默认 DataLoader 后,同名字段会分别被批处理。如果各样本 Tensor 的形状不同,例如序列长度分别为 8、13、21,就不能直接依赖默认堆叠,应在后续使用自定义 collate_fn 做 padding 或其他整理。
排查长度与索引不一致
最常见错误是 __len__() 与真正可读取的数据数量不一致。例如特征有 100 条、标签只有 99 条,却返回 100,访问最后一项时就会越界。初始化阶段直接检查长度,可以让问题更早暴露。
可以用三个索引快速验收自定义数据集:0、len(dataset) - 1 以及一个中间索引。三者都应返回相同结构,且特征与标签属于同一条记录。只有在这层行为可靠后,再接入随机采样、多进程加载和训练循环,排错成本才不会被放大。