机器学习与深度学习 / 系统课时
变长序列与掩码
变长序列与掩码
真实序列往往长短不一,直接组成批次会造成形状不一致。本课用 PyTorch 完成填充、长度记录、有效位置掩码与打包处理,并解释何时需要排序,最终得到可安全送入循环网络或池化层的批量数据。
学习目标
- 能把不同长度的序列整理为同一批次
- 能生成掩码并排除填充值对统计结果的影响
- 能正确使用
pack_padded_sequence处理循环网络输入
为什么需要填充与长度
一个批次必须具有统一形状,但文本、语音和时间序列通常长度不同。常见做法是把较短样本补到批次最大长度,同时单独保存每条序列的真实长度。
假设三条序列长度分别为 4、2、3,填充后都会变成长度 4。新增位置只是占位,不属于原始数据,因此后续计算必须知道哪些位置有效。

填充值通常设为 0,但“值为 0”不等于“无效”。真正可靠的依据是长度张量或显式掩码,因为原始数据本身也可能包含 0。
构造填充批次与掩码
下面的示例使用固定张量,依次完成填充、掩码、掩码平均池化和打包还原。代码可直接运行。
import torch
from torch.nn.utils.rnn import (
pack_padded_sequence,
pad_packed_sequence,
pad_sequence,
)
sequences = [
torch.tensor([[1.0, 1.0], [2.0, 2.0], [3.0, 3.0], [4.0, 4.0]]),
torch.tensor([[5.0, 5.0], [6.0, 6.0]]),
torch.tensor([[7.0, 7.0], [8.0, 8.0], [9.0, 9.0]]),
]
lengths = torch.tensor([4, 2, 3])
# 右侧补零,得到形状为 [batch, max_length, feature] 的批次
padded = pad_sequence(sequences, batch_first=True, padding_value=0.0)
steps = torch.arange(padded.size(1)).unsqueeze(0)
mask = steps < lengths.unsqueeze(1)
# 池化时只累计真实位置,避免填充值拉低平均值
masked_sum = (padded * mask.unsqueeze(-1)).sum(dim=1)
masked_mean = masked_sum / lengths.unsqueeze(1)
packed = pack_padded_sequence(
padded,
lengths.cpu(),
batch_first=True,
enforce_sorted=False,
)
restored, _ = pad_packed_sequence(
packed,
batch_first=True,
padding_value=0.0,
)
print("padded shape:", tuple(padded.shape))
print("mask:")
print(mask.to(torch.int32))
print("masked mean:")
print(masked_mean)
print("restored equals padded:", torch.equal(restored, padded))预期输出
padded shape: (3, 4, 2)
mask:
tensor([[1, 1, 1, 1],
[1, 1, 0, 0],
[1, 1, 1, 0]], dtype=torch.int32)
masked mean:
tensor([[2.5000, 2.5000],
[5.5000, 5.5000],
[8.0000, 8.0000]])
restored equals padded: Truemask 的形状是 [batch, max_length],扩展最后一维后即可与特征张量相乘。注意掩码平均值的分母是真实长度,而不是填充后的最大长度。
长度排序与打包规则
pack_padded_sequence 会让循环网络跳过填充位置,减少无效计算,并避免填充值继续影响隐藏状态。长度张量通常应放在 CPU 上,因此示例显式调用了 lengths.cpu()。
当 enforce_sorted=False 时,PyTorch 会在内部处理未排序批次,代码最简单。设为 True 时,长度必须按降序排列;模型输出若要恢复到原样本顺序,还要保存排序索引并执行逆排序。
仅做卷积、逐位置线性变换或显式掩码池化时,不一定需要打包。是否使用打包取决于后续算子能否识别并跳过填充位置。
常见错误与检查方法
把填充后的最大长度当作真实长度,会导致平均池化、损失统计和评估结果偏差。掩码方向写反也很常见:本课约定 True 表示有效位置,传给某些注意力 API 前应先核对其参数是否使用相反语义。
调试时至少检查三件事:padded.shape[0] 是否等于批量大小、mask.sum(dim=1) 是否等于 lengths、打包后再还原是否与原填充张量一致。
本课总结
- 填充解决批次形状统一问题,长度和掩码负责标记真实数据
- 聚合、损失和注意力计算必须排除填充位置
- 循环网络可使用打包序列跳过无效时间步,未排序批次可设
enforce_sorted=False
下一课预告
下一课将把变长序列处理接入完整分类模型,训练序列分类器,并通过混淆统计与低置信度样本分析预测错误。