机器学习与深度学习 / 系统课时

Transformer 编码器

Transformer 编码器

Transformer 编码器把一段序列转换为包含上下文信息的表示。本课将注意力、残差连接、层归一化和前馈网络串成一个可运行的编码器,并说明张量形状与填充掩码的关键边界。

学习目标

  • 说清一个编码器层中四类组件的职责与连接顺序
  • 使用 PyTorch 堆叠多个编码器层并验证输入输出形状
  • 正确设置填充掩码,避免无效位置参与注意力计算

编码器层如何处理序列

编码器接收形状为 [批大小, 序列长度, 隐藏维度] 的张量。每个位置先通过多头自注意力读取整段序列,再经过逐位置前馈网络完成非线性变换。残差连接保留原始信息,层归一化则稳定不同层之间的数值分布。

Transformer 编码器层数据流

多头自注意力会把隐藏维度拆成多个头。每个头独立计算注意力,再把结果拼接回原来的隐藏维度,因此输出形状不变。隐藏维度必须能被头数整除,例如 d_model=16、nhead=4 时,每个头处理 4 维特征。

前馈网络对每个序列位置独立应用同一组参数,通常先把维度扩大,再通过激活函数压回隐藏维度。它不负责位置之间的信息交换,而是对注意力已经聚合出的上下文特征进行进一步提炼。

残差连接与归一化

一个子层可概括为“变换后与输入相加,再归一化”。残差连接为梯度提供短路径,使深层堆叠更容易训练;层归一化沿最后一个隐藏维度计算,不依赖批大小,因此适合变长序列。

PyTorch 的 norm_first=True 表示先归一化再执行注意力或前馈网络,也称 Pre-Norm。它与经典 Post-Norm 的连接顺序不同,但输入输出形状一致。实际项目应保持训练、加载权重和推理阶段的结构配置完全一致。

用 PyTorch 堆叠编码器

下面构造两个编码器层。示例使用 batch_first=True,因此所有序列张量都采用 [B, L, D] 排列;src_key_padding_mask 的形状则是 [B, L],其中 True 表示需要屏蔽的填充位置。

python
import torch
from torch import nn

def main() -> None:
    torch.manual_seed(7)

    batch_size = 2
    sequence_length = 5
    hidden_size = 16

    inputs = torch.randn(batch_size, sequence_length, hidden_size)
    padding_mask = torch.tensor(
        [
            [False, False, False, False, False],
            [False, False, False, True, True],
        ],
        dtype=torch.bool,
    )

    # 每层包含自注意力、前馈网络、残差连接和层归一化。
    encoder_layer = nn.TransformerEncoderLayer(
        d_model=hidden_size,
        nhead=4,
        dim_feedforward=32,
        dropout=0.0,
        batch_first=True,
        norm_first=True,
    )
    encoder = nn.TransformerEncoder(
        encoder_layer=encoder_layer,
        num_layers=2,
    )

    outputs = encoder(
        inputs,
        src_key_padding_mask=padding_mask,
    )

    print("input shape:", tuple(inputs.shape))
    print("mask shape:", tuple(padding_mask.shape))
    print("output shape:", tuple(outputs.shape))

if __name__ == "__main__":
    main()

预期输出:

text
input shape: (2, 5, 16)
mask shape: (2, 5)
output shape: (2, 5, 16)

编码器不会改变批大小、序列长度和隐藏维度。堆叠层数只会增加变换深度,不会自动改变张量外形。

掩码与输出边界

填充掩码主要阻止有效词元把填充位置当作可关注的键和值,但填充位置对应的输出向量不一定自动变为全零。后续做平均池化时,仍应使用掩码排除这些位置;使用首位置表示做分类时,也要确认分词器确实在首位置放置了分类标记。

还要区分两类掩码:填充掩码描述每个样本哪些位置无效;注意力掩码描述位置之间是否允许互相查看。编码器处理双向上下文时通常只需要填充掩码,因果语言模型才会额外使用禁止查看未来位置的上三角掩码。

常见错误

  • d_model 不能被 nhead 整除,模型会在初始化或前向传播时报错。
  • 开启 batch_first=True 后仍传入 [L, B, D],虽然部分形状可能碰巧可计算,但语义已经错位。
  • 把整数 0/1 的有效位掩码直接当作布尔填充掩码使用,导致有效位置和填充位置含义反转。

本课总结

  • 编码器层由自注意力、前馈网络、两条残差路径和层归一化共同组成。
  • 多层堆叠保持 [B, L, D] 形状不变,D 必须能被注意力头数整除。
  • 填充掩码只控制注意力参与范围,池化和损失计算仍需继续排除无效位置。

下一课预告

下一课将加载预训练 Transformer,完成文本分词、动态批处理、分类头配置、微调训练与验证评估。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Transformer 编码器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通