机器学习与深度学习 / 系统课时

变长序列与掩码

变长序列与掩码

真实序列往往长短不一,直接组成批次会造成形状不一致。本课用 PyTorch 完成填充、长度记录、有效位置掩码与打包处理,并解释何时需要排序,最终得到可安全送入循环网络或池化层的批量数据。

学习目标

  • 能把不同长度的序列整理为同一批次
  • 能生成掩码并排除填充值对统计结果的影响
  • 能正确使用 pack_padded_sequence 处理循环网络输入

为什么需要填充与长度

一个批次必须具有统一形状,但文本、语音和时间序列通常长度不同。常见做法是把较短样本补到批次最大长度,同时单独保存每条序列的真实长度。

假设三条序列长度分别为 4、2、3,填充后都会变成长度 4。新增位置只是占位,不属于原始数据,因此后续计算必须知道哪些位置有效。

变长序列填充与掩码示意

填充值通常设为 0,但“值为 0”不等于“无效”。真正可靠的依据是长度张量或显式掩码,因为原始数据本身也可能包含 0。

构造填充批次与掩码

下面的示例使用固定张量,依次完成填充、掩码、掩码平均池化和打包还原。代码可直接运行。

python
import torch
from torch.nn.utils.rnn import (
    pack_padded_sequence,
    pad_packed_sequence,
    pad_sequence,
)

sequences = [
    torch.tensor([[1.0, 1.0], [2.0, 2.0], [3.0, 3.0], [4.0, 4.0]]),
    torch.tensor([[5.0, 5.0], [6.0, 6.0]]),
    torch.tensor([[7.0, 7.0], [8.0, 8.0], [9.0, 9.0]]),
]
lengths = torch.tensor([4, 2, 3])

# 右侧补零,得到形状为 [batch, max_length, feature] 的批次
padded = pad_sequence(sequences, batch_first=True, padding_value=0.0)

steps = torch.arange(padded.size(1)).unsqueeze(0)
mask = steps < lengths.unsqueeze(1)

# 池化时只累计真实位置,避免填充值拉低平均值
masked_sum = (padded * mask.unsqueeze(-1)).sum(dim=1)
masked_mean = masked_sum / lengths.unsqueeze(1)

packed = pack_padded_sequence(
    padded,
    lengths.cpu(),
    batch_first=True,
    enforce_sorted=False,
)
restored, _ = pad_packed_sequence(
    packed,
    batch_first=True,
    padding_value=0.0,
)

print("padded shape:", tuple(padded.shape))
print("mask:")
print(mask.to(torch.int32))
print("masked mean:")
print(masked_mean)
print("restored equals padded:", torch.equal(restored, padded))

预期输出

text
padded shape: (3, 4, 2)
mask:
tensor([[1, 1, 1, 1],
        [1, 1, 0, 0],
        [1, 1, 1, 0]], dtype=torch.int32)
masked mean:
tensor([[2.5000, 2.5000],
        [5.5000, 5.5000],
        [8.0000, 8.0000]])
restored equals padded: True

mask 的形状是 [batch, max_length],扩展最后一维后即可与特征张量相乘。注意掩码平均值的分母是真实长度,而不是填充后的最大长度。

长度排序与打包规则

pack_padded_sequence 会让循环网络跳过填充位置,减少无效计算,并避免填充值继续影响隐藏状态。长度张量通常应放在 CPU 上,因此示例显式调用了 lengths.cpu()。

当 enforce_sorted=False 时,PyTorch 会在内部处理未排序批次,代码最简单。设为 True 时,长度必须按降序排列;模型输出若要恢复到原样本顺序,还要保存排序索引并执行逆排序。

仅做卷积、逐位置线性变换或显式掩码池化时,不一定需要打包。是否使用打包取决于后续算子能否识别并跳过填充位置。

常见错误与检查方法

把填充后的最大长度当作真实长度,会导致平均池化、损失统计和评估结果偏差。掩码方向写反也很常见:本课约定 True 表示有效位置,传给某些注意力 API 前应先核对其参数是否使用相反语义。

调试时至少检查三件事:padded.shape[0] 是否等于批量大小、mask.sum(dim=1) 是否等于 lengths、打包后再还原是否与原填充张量一致。

本课总结

  • 填充解决批次形状统一问题,长度和掩码负责标记真实数据
  • 聚合、损失和注意力计算必须排除填充位置
  • 循环网络可使用打包序列跳过无效时间步,未排序批次可设 enforce_sorted=False

下一课预告

下一课将把变长序列处理接入完整分类模型,训练序列分类器,并通过混淆统计与低置信度样本分析预测错误。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

变长序列与掩码

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通