机器学习与深度学习 / 系统课时
Transformer 编码器
Transformer 编码器
Transformer 编码器把一段序列转换为包含上下文信息的表示。本课将注意力、残差连接、层归一化和前馈网络串成一个可运行的编码器,并说明张量形状与填充掩码的关键边界。
学习目标
- 说清一个编码器层中四类组件的职责与连接顺序
- 使用 PyTorch 堆叠多个编码器层并验证输入输出形状
- 正确设置填充掩码,避免无效位置参与注意力计算
编码器层如何处理序列
编码器接收形状为 [批大小, 序列长度, 隐藏维度] 的张量。每个位置先通过多头自注意力读取整段序列,再经过逐位置前馈网络完成非线性变换。残差连接保留原始信息,层归一化则稳定不同层之间的数值分布。

多头自注意力会把隐藏维度拆成多个头。每个头独立计算注意力,再把结果拼接回原来的隐藏维度,因此输出形状不变。隐藏维度必须能被头数整除,例如 d_model=16、nhead=4 时,每个头处理 4 维特征。
前馈网络对每个序列位置独立应用同一组参数,通常先把维度扩大,再通过激活函数压回隐藏维度。它不负责位置之间的信息交换,而是对注意力已经聚合出的上下文特征进行进一步提炼。
残差连接与归一化
一个子层可概括为“变换后与输入相加,再归一化”。残差连接为梯度提供短路径,使深层堆叠更容易训练;层归一化沿最后一个隐藏维度计算,不依赖批大小,因此适合变长序列。
PyTorch 的 norm_first=True 表示先归一化再执行注意力或前馈网络,也称 Pre-Norm。它与经典 Post-Norm 的连接顺序不同,但输入输出形状一致。实际项目应保持训练、加载权重和推理阶段的结构配置完全一致。
用 PyTorch 堆叠编码器
下面构造两个编码器层。示例使用 batch_first=True,因此所有序列张量都采用 [B, L, D] 排列;src_key_padding_mask 的形状则是 [B, L],其中 True 表示需要屏蔽的填充位置。
import torch
from torch import nn
def main() -> None:
torch.manual_seed(7)
batch_size = 2
sequence_length = 5
hidden_size = 16
inputs = torch.randn(batch_size, sequence_length, hidden_size)
padding_mask = torch.tensor(
[
[False, False, False, False, False],
[False, False, False, True, True],
],
dtype=torch.bool,
)
# 每层包含自注意力、前馈网络、残差连接和层归一化。
encoder_layer = nn.TransformerEncoderLayer(
d_model=hidden_size,
nhead=4,
dim_feedforward=32,
dropout=0.0,
batch_first=True,
norm_first=True,
)
encoder = nn.TransformerEncoder(
encoder_layer=encoder_layer,
num_layers=2,
)
outputs = encoder(
inputs,
src_key_padding_mask=padding_mask,
)
print("input shape:", tuple(inputs.shape))
print("mask shape:", tuple(padding_mask.shape))
print("output shape:", tuple(outputs.shape))
if __name__ == "__main__":
main()预期输出:
input shape: (2, 5, 16)
mask shape: (2, 5)
output shape: (2, 5, 16)编码器不会改变批大小、序列长度和隐藏维度。堆叠层数只会增加变换深度,不会自动改变张量外形。
掩码与输出边界
填充掩码主要阻止有效词元把填充位置当作可关注的键和值,但填充位置对应的输出向量不一定自动变为全零。后续做平均池化时,仍应使用掩码排除这些位置;使用首位置表示做分类时,也要确认分词器确实在首位置放置了分类标记。
还要区分两类掩码:填充掩码描述每个样本哪些位置无效;注意力掩码描述位置之间是否允许互相查看。编码器处理双向上下文时通常只需要填充掩码,因果语言模型才会额外使用禁止查看未来位置的上三角掩码。
常见错误
d_model不能被nhead整除,模型会在初始化或前向传播时报错。- 开启
batch_first=True后仍传入[L, B, D],虽然部分形状可能碰巧可计算,但语义已经错位。 - 把整数
0/1的有效位掩码直接当作布尔填充掩码使用,导致有效位置和填充位置含义反转。
本课总结
- 编码器层由自注意力、前馈网络、两条残差路径和层归一化共同组成。
- 多层堆叠保持
[B, L, D]形状不变,D必须能被注意力头数整除。 - 填充掩码只控制注意力参与范围,池化和损失计算仍需继续排除无效位置。
下一课预告
下一课将加载预训练 Transformer,完成文本分词、动态批处理、分类头配置、微调训练与验证评估。