机器学习与深度学习 / 系统课时

创建自定义数据集

创建自定义数据集

本课把一组交易记录封装成 PyTorch 标准数据集,实现样本数量查询、按索引读取和批量加载。完成后,你可以让业务数据直接接入 DataLoader,并保证每个样本返回稳定的张量结构。

学习目标

  • 理解自定义数据集需要承担的三个职责
  • 正确实现 __len__() 与 __getitem__()
  • 使用 DataLoader 验证单样本和批量输出

Dataset 在数据管道中的位置

Dataset 不负责训练模型,它只回答两个问题:数据集中有多少条样本,以及给定索引时应返回什么。DataLoader 再根据批大小、是否打乱和并行参数,多次调用数据集并组装批次。

自定义数据集与批量加载关系图

实现自定义 Dataset

下面使用内存中的交易记录演示完整实现。初始化阶段保存原始记录和类别映射,__len__() 返回记录数量,__getitem__() 负责类型转换、简单缩放并返回固定结构。

python
from typing import Any, Mapping, Sequence

import torch
from torch.utils.data import DataLoader, Dataset

class TransactionDataset(Dataset):
    def __init__(self, records: Sequence[Mapping[str, Any]]) -> None:
        # 初始化时固定记录顺序和类别映射,读取阶段不再改变它们。
        self.records = list(records)
        self.channel_to_id = {"app": 0, "web": 1}

    def __len__(self) -> int:
        return len(self.records)

    def __getitem__(self, index: int) -> dict[str, torch.Tensor]:
        if index < 0:
            index += len(self.records)
        if index < 0 or index >= len(self.records):
            raise IndexError("sample index out of range")

        record = self.records[index]
        # 数值字段统一转为 float32,类别字段映射为可训练的整数。
        features = torch.tensor(
            [
                float(record["amount_cent"]) / 100.0,
                float(record["hour"]) / 23.0,
                float(self.channel_to_id[record["channel"]]),
            ],
            dtype=torch.float32,
        )
        label = torch.tensor(int(record["is_fraud"]), dtype=torch.long)
        return {"features": features, "label": label}

def main() -> None:
    records = [
        {"amount_cent": 150, "hour": 23, "channel": "app", "is_fraud": 0},
        {"amount_cent": 300, "hour": 0, "channel": "web", "is_fraud": 1},
        {"amount_cent": 500, "hour": 12, "channel": "app", "is_fraud": 0},
    ]

    dataset = TransactionDataset(records)
    # 先验证单样本,再交给 DataLoader 检查批量结构。
    print(f"样本数: {len(dataset)}")

    sample = dataset[0]
    print("首个样本特征:", sample["features"].tolist())
    print("首个样本标签:", sample["label"].item())

    # DataLoader 会自动把相同键对应的张量堆叠成批次。
    loader = DataLoader(dataset, batch_size=2, shuffle=False)
    batch = next(iter(loader))
    print("批量特征形状:", tuple(batch["features"].shape))
    print("批量标签:", batch["label"].tolist())

if __name__ == "__main__":
    main()

预期输出:

text
样本数: 3
首个样本特征: [1.5, 1.0, 0.0]
首个样本标签: 0
批量特征形状: (2, 3)
批量标签: [0, 1]

保持结构稳定并完成验收

同一个数据集中的每条样本应返回相同的键、数据类型和形状,否则默认批量组装会失败。本例始终返回 features 和 label,其中 features 为长度 3 的 float32 张量,label 为标量 long 张量,适合常见分类损失函数。

原始数据缺字段、类别不在映射表中或索引越界时,应尽早抛出明确异常。真实项目还可以在初始化阶段校验必填字段,避免训练运行数小时后才暴露脏数据。完成实现后,至少检查以下结果:

  • len(dataset) 与原始记录数量一致
  • dataset[0] 能返回模型可接收的张量
  • DataLoader 产生的批次第一维等于实际批大小
  • 多条样本的键、形状和数据类型完全一致

Dataset 只定义单样本规则。批次大小、打乱、并行读取等策略应交给 DataLoader,不要在 __getitem__() 中自行拼接批次。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

创建自定义数据集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通