机器学习与深度学习 / 系统课时

处理变长样本

处理变长样本

同一批样本的序列长度不一致时,DataLoader 无法直接堆叠张量。本课将实现自定义 collate_fn,在组批阶段完成截断、填充、长度记录和掩码生成,得到可直接送入序列模型的规则批次。

学习目标

  • 理解变长样本不能直接组成批次的原因
  • 使用 collate_fn 完成截断、填充和标签整理
  • 正确生成序列长度与有效位置掩码

为什么默认批处理会失败

DataLoader 的默认组批逻辑会尝试把多个样本沿新增的批次维度堆叠。这个操作要求每个张量形状完全一致,因此长度分别为 3、5、8 的一维序列不能直接组成形状为 [3, ?] 的张量。

处理位置应放在组批阶段,而不是提前把整个数据集永久填充到统一长度。这样可以按当前批次的最长样本动态填充,减少无效计算,也能集中维护截断规则和填充值。

设计批处理规则

一个完整的变长序列批次通常包含四部分:填充后的序列、截断后的真实长度、有效位置掩码和标签。先按最大允许长度截断,再按本批最长序列填充,最后根据长度生成掩码。

变长样本组批流程

截断必须先于长度统计,否则记录的长度可能大于批次张量的实际宽度。掩码应根据长度生成,而不是简单判断元素是否等于填充值,因为某些数据中 0 本身也可能是有效值。

实现自定义 collate_fn

下面的完整示例把每个序列限制在 5 个元素以内,使用 0 右侧填充,并返回模型常用的四项批量数据。

python
import torch
from torch.nn.utils.rnn import pad_sequence
from torch.utils.data import DataLoader, Dataset

class SequenceDataset(Dataset):
    def __init__(self):
        self.samples = [
            (torch.tensor([1, 2, 3]), 0),
            (torch.tensor([4, 5]), 1),
            (torch.tensor([6, 7, 8, 9, 10, 11]), 0),
        ]

    def __len__(self):
        return len(self.samples)

    def __getitem__(self, index):
        return self.samples[index]

def collate_batch(batch, max_length=5, padding_value=0):
    sequences, labels = zip(*batch)

    # 先截断,再记录当前批次中每条序列的真实长度。
    truncated = [sequence[:max_length] for sequence in sequences]
    lengths = torch.tensor([len(sequence) for sequence in truncated])

    padded = pad_sequence(
        truncated,
        batch_first=True,
        padding_value=padding_value,
    )

    # 根据长度生成掩码,避免把数值 0 误判为填充位置。
    positions = torch.arange(padded.size(1)).unsqueeze(0)
    mask = positions < lengths.unsqueeze(1)

    return {
        "inputs": padded,
        "lengths": lengths,
        "mask": mask,
        "labels": torch.tensor(labels),
    }

def main():
    loader = DataLoader(
        SequenceDataset(),
        batch_size=3,
        shuffle=False,
        collate_fn=collate_batch,
    )

    batch = next(iter(loader))
    for name, value in batch.items():
        print(f"{name}:")
        print(value)

if __name__ == "__main__":
    main()

预期输出

text
inputs:
tensor([[ 1,  2,  3,  0,  0],
        [ 4,  5,  0,  0,  0],
        [ 6,  7,  8,  9, 10]])
lengths:
tensor([3, 2, 5])
mask:
tensor([[ True,  True,  True, False, False],
        [ True,  True, False, False, False],
        [ True,  True,  True,  True,  True]])
labels:
tensor([0, 1, 0])

在模型中使用批次信息

Transformer 类模型通常直接接收填充后的序列和掩码,使注意力层忽略填充位置。RNN 类模型可结合 lengths 使用打包序列,也可以在输出端按掩码排除无效时间步。

若任务需要从序列尾部截断、保留特殊起止标记或采用左侧填充,应把规则集中写在 collate_fn 中。数据集只负责返回单个原始样本,组批函数负责批次级形状整理,职责会更清晰。

边界检查

空序列会产生长度为 0 的样本,部分模型无法处理,应在数据清洗阶段拒绝或补入约定的特殊标记。标签、序列和附加特征必须使用相同的样本顺序,不能在组批时分别排序后失去对应关系。

当批内长度差异极大时,可先按长度分桶再组批,以减少填充比例。是否采用分桶取决于数据规模和性能需求,不应为了少量样本增加不必要的采样复杂度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理变长样本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通