机器学习与深度学习 / 系统课时

Transformer 编码器

Transformer 编码器

Transformer 编码器把一段序列中的每个位置都转换为融合上下文的信息表示。本课将拆解自注意力、前馈网络、残差连接和层归一化的协作方式,并用 PyTorch 构建可直接接入文本任务的编码器。

学习目标

  • 说明 Transformer 编码器层的四个核心组成部分
  • 理解张量形状、注意力头数和填充掩码的约束
  • 使用 nn.TransformerEncoder 完成一次前向计算

编码器解决什么问题

传统循环网络按时间步依次处理序列,后一个位置依赖前一个位置的计算结果。Transformer 编码器改用自注意力,让所有位置在同一层中直接读取其他位置的信息,因此更适合并行计算,也更容易建立长距离依赖。

输入通常是形状为 [batch_size, seq_len, d_model] 的向量序列。编码器不会直接输出类别,而是生成同形状的上下文表示,后续可以继续堆叠、池化或交给分类头。

Transformer 编码器层结构

一个编码器层如何工作

多头自注意力

自注意力先把输入映射为查询 Q、键 K 和值 V,再根据查询与键的相似度对值进行加权汇总。单个注意力头的核心计算为:

Attention(Q,K,V)=softmax(QKT/dk)V\mathrm{Attention}(Q,K,V)=\mathrm{softmax}(QK^T/\sqrt{d_k})V

多头机制会把特征维度分成若干子空间并行计算,使不同头可以关注位置关系、局部搭配或语义关联。由于特征要均匀拆分,d_model 必须能被 nhead 整除。

前馈网络

每个位置经过同一个两层全连接网络,位置之间不在这一步交换信息。常见结构是先升维、应用激活函数,再降回 d_model,从而对注意力得到的特征做非线性变换。

残差连接与层归一化

注意力子层和前馈子层外部都带有残差连接,保证原始信息和梯度能沿短路径传播。层归一化负责稳定每个位置的特征分布,使多层编码器更容易训练。

使用 PyTorch 构建编码器

下面的示例创建两层编码器,并传入一个包含填充位置的批次。src_key_padding_mask 中的 True 表示该位置是填充标记,不应作为其他位置读取的键和值。

python
import torch
from torch import nn

torch.manual_seed(7)

class TextTransformerEncoder(nn.Module):
    def __init__(self) -> None:
        super().__init__()
        encoder_layer = nn.TransformerEncoderLayer(
            d_model=16,
            nhead=4,
            dim_feedforward=32,
            dropout=0.0,
            batch_first=True,
        )
        self.encoder = nn.TransformerEncoder(
            encoder_layer=encoder_layer,
            num_layers=2,
            norm=nn.LayerNorm(16),
            enable_nested_tensor=False,
        )

    def forward(
        self,
        inputs: torch.Tensor,
        padding_mask: torch.Tensor,
    ) -> torch.Tensor:
        # 掩码只阻止注意力读取填充位置,不会改变输出张量的长度。
        return self.encoder(
            inputs,
            src_key_padding_mask=padding_mask,
        )

model = TextTransformerEncoder()
inputs = torch.randn(2, 5, 16)
padding_mask = torch.tensor(
    [
        [False, False, False, False, False],
        [False, False, False, True, True],
    ]
)

outputs = model(inputs, padding_mask)

print("output_shape:", tuple(outputs.shape))
print("mask_shape:", tuple(padding_mask.shape))
print("all_finite:", outputs.isfinite().all().item())

预期输出:

text
output_shape: (2, 5, 16)
mask_shape: (2, 5)
all_finite: True

输出仍保留批次大小、序列长度和特征维度。编码器负责更新每个位置的表示,而是否取首位向量、做平均池化或使用专门的分类标记,应由下游任务决定。

关键边界与常见错误

  • batch_first=True 时输入顺序是 [batch, seq, feature];未启用时默认是 [seq, batch, feature]。
  • 填充掩码形状应为 [batch, seq],并使用布尔值;把有效位置标为 True 会让模型屏蔽真实内容。
  • 编码器没有自动加入词嵌入和位置信息。文本任务通常先把词元映射为嵌入,并显式叠加位置编码。
  • 对输出直接求平均时必须排除填充位置,否则短文本会被大量零填充稀释。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Transformer 编码器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通