机器学习与深度学习 / 系统课时

位置编码与掩码

位置编码与掩码

Transformer 的自注意力本身不认识先后顺序,也不会自动忽略补齐位置或未来位置。本课将构造位置编码、填充掩码和因果掩码,并说明它们分别作用于输入、注意力分数和训练目标的哪个环节。

学习目标

  • 解释为什么注意力模型需要显式注入位置信息。
  • 区分填充掩码与因果掩码解决的问题。
  • 生成可直接用于注意力计算的位置编码和布尔掩码。

位置编码如何补充顺序信息

自注意力根据内容相似度建立关系。如果只交换两个 token 的位置而不改变内容集合,注意力计算本身无法稳定区分“谁在前、谁在后”。因此,模型通常把位置向量与词向量相加:

Xinput=Xtoken+XpositionX_{input}=X_{token}+X_{position}

位置编码可以是可学习参数,也可以使用固定的正弦与余弦函数。固定编码让不同位置具有连续且可比较的模式,不增加需要训练的位置参数。相加后的形状仍为 [B, L, d_model],因此不会改变后续注意力层的接口。

两类掩码分别解决什么

填充掩码用于变长序列。批处理通常把短序列补到统一长度,补齐位置不应成为其他 token 可以关注的键,因此需要把这些位置屏蔽。

因果掩码用于自回归生成。位置 tt 只能关注当前位置及其之前的位置,不能读取 t+1t+1 之后的内容。它通常表现为一个上三角屏蔽矩阵。

位置编码、填充掩码与因果掩码的作用对比

两种掩码可以同时存在。对解码器而言,因果掩码负责限制时间方向,填充掩码负责屏蔽无效键位置。它们通常在注意力分数进入 softmax 之前生效,使被屏蔽位置不再获得有效权重。

可运行示例:生成编码与掩码

下面的程序生成固定正弦位置编码,并为两个长度不同的序列创建填充掩码、因果掩码和组合掩码。示例中 1 表示该位置需要屏蔽。

python
import math
import torch


def sinusoidal_position_encoding(seq_len: int, d_model: int) -> torch.Tensor:
    if d_model % 2 != 0:
        raise ValueError("d_model must be even")

    positions = torch.arange(seq_len, dtype=torch.float32).unsqueeze(1)
    frequencies = torch.exp(
        torch.arange(0, d_model, 2, dtype=torch.float32)
        * (-math.log(10000.0) / d_model)
    )

    encoding = torch.zeros(seq_len, d_model)
    encoding[:, 0::2] = torch.sin(positions * frequencies)
    encoding[:, 1::2] = torch.cos(positions * frequencies)
    return encoding


def main() -> None:
    seq_len = 5
    d_model = 8
    lengths = torch.tensor([3, 5])

    position_encoding = sinusoidal_position_encoding(seq_len, d_model)

    # True 表示对应键位置是补齐内容,应被屏蔽。
    padding_mask = torch.arange(seq_len).unsqueeze(0) >= lengths.unsqueeze(1)

    # 上三角区域代表未来位置,当前查询不能访问。
    causal_mask = torch.triu(
        torch.ones(seq_len, seq_len, dtype=torch.bool),
        diagonal=1,
    )

    combined_mask = causal_mask.unsqueeze(0) | padding_mask.unsqueeze(1)

    print("position_encoding:", tuple(position_encoding.shape))
    print("padding_mask:")
    print(padding_mask.int())
    print("causal_mask:")
    print(causal_mask.int())
    print("combined_mask[0]:")
    print(combined_mask[0].int())


if __name__ == "__main__":
    main()

预期输出:

text
position_encoding: (5, 8)
padding_mask:
tensor([[0, 0, 0, 1, 1],
        [0, 0, 0, 0, 0]], dtype=torch.int32)
causal_mask:
tensor([[0, 1, 1, 1, 1],
        [0, 0, 1, 1, 1],
        [0, 0, 0, 1, 1],
        [0, 0, 0, 0, 1],
        [0, 0, 0, 0, 0]], dtype=torch.int32)
combined_mask[0]:
tensor([[0, 1, 1, 1, 1],
        [0, 0, 1, 1, 1],
        [0, 0, 0, 1, 1],
        [0, 0, 0, 1, 1],
        [0, 0, 0, 1, 1]], dtype=torch.int32)

padding_mask 的形状是 [B,L],causal_mask 的形状是 [L,L]。通过增加维度后执行逻辑或,得到的组合掩码形状为 [B,L,L],可以为每个样本、每个查询位置指定不可访问的键位置。

使用时的关键边界

位置编码与输入相加时,二者的最后一维必须相同。批量输入通常是 [B,L,d_model],位置编码可以保持 [L,d_model],依靠广播应用到整个批量。

不同注意力 API 对布尔值、浮点值和掩码维度的约定可能不同。接入具体接口前,应确认 True 是“保留”还是“屏蔽”,以及掩码作用在查询位置、键位置还是两者。示例采用 True 表示屏蔽的约定。

填充掩码只阻止其他位置读取补齐键,并不自动消除补齐查询位置产生的输出。训练时还需要在损失函数中忽略补齐标签,或在后续步骤中清理这些位置。

本课总结

  • 位置编码把顺序信息加入 token 表示,但不改变输入张量的总体形状。
  • 填充掩码屏蔽无效补齐位置,因果掩码阻止当前位置读取未来信息。
  • 两类掩码可以组合,但必须核对具体注意力 API 的布尔语义和形状要求。

下一课预告

下一课将把多头注意力、残差连接、归一化和前馈网络组合起来,完整理解 Transformer 编码器层的数据流。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

位置编码与掩码

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通