机器学习与深度学习 / 系统课时

词表与嵌入层

词表与嵌入层

神经网络不能直接处理词语等离散符号。本课将完成从词元到编号的稳定映射,处理未登录词与补齐符号,并用 nn.Embedding 把整数编号转换为可训练的连续向量。

学习目标

  • 建立包含补齐词元和未知词元的词表
  • 将词元序列编码为固定规则的整数张量
  • 理解嵌入层的输入输出形状及关键边界

词表负责稳定编号

词表本质上是从词元到整数 ID 的映射。通常应预留 <pad> 和 <unk>:<pad> 用于批量补齐,<unk> 用于表示词表中不存在的词元。二者职责不同,不能共用同一个编号。

词表应只根据训练集建立,并在验证、测试和部署阶段保持不变。若推理时重新排序或扩充词表,同一个 ID 就可能指向不同词元,已训练的嵌入参数也会随之失效。

词元经过词表和嵌入层转换的流程

完成编码与向量查表

nn.Embedding 可以理解为一张可训练的向量表。输入中的每个整数 ID 用来选择一行参数,因此输入必须是整型张量,并且所有 ID 都要满足 0 <= id < num_embeddings。

下面的完整示例先编码两个句子,再补齐到相同长度,最后得到三维嵌入张量。未知词会映射到 <unk>,补齐位置会映射到 <pad>。

python
import torch
from torch import nn

vocab = {
    "<pad>": 0,
    "<unk>": 1,
    "深度": 2,
    "学习": 3,
    "很": 4,
    "有趣": 5,
    "也": 6,
    "要": 7,
    "处理": 8,
}

sentences = [
    ["深度", "学习", "很", "有趣"],
    ["未登录词", "也", "处理"],
]
max_length = 4

def encode(tokens: list[str]) -> list[int]:
    ids = [vocab.get(token, vocab["<unk>"]) for token in tokens]
    return ids + [vocab["<pad>"]] * (max_length - len(ids))

input_ids = torch.tensor(
    [encode(tokens) for tokens in sentences],
    dtype=torch.long,
)

torch.manual_seed(7)
embedding = nn.Embedding(
    num_embeddings=len(vocab),
    embedding_dim=3,
    padding_idx=vocab["<pad>"],
)
vectors = embedding(input_ids)

print("input_ids =")
print(input_ids)
print("vectors shape =", tuple(vectors.shape))
print("padding vector =", embedding.weight[0].detach())

预期输出:

text
input_ids =
tensor([[2, 3, 4, 5],
        [1, 6, 8, 0]])
vectors shape = (2, 4, 3)
padding vector = tensor([0., 0., 0.])

理解输出形状

输入形状是 [B, T],嵌入层会为每个位置追加一个向量维度,因此输出形状为 [B, T, E]。示例中批次大小为 2、序列长度为 4、嵌入维度为 3,所以结果是 (2, 4, 3)。

嵌入层执行的是按 ID 查表,而不是普通矩阵乘法。相同 ID 在同一次前向计算中会得到同一行向量;训练反向传播时,被使用到的词向量会根据损失更新。设置 padding_idx 后,对应行默认保持为零且不会参与常规梯度更新。

设计词表时的关键边界

词表大小必须与嵌入层的 num_embeddings 对齐。最安全的条件是词元 ID 从 0 连续编号到 len(vocab) - 1;若 ID 不连续,则应按最大 ID 加 1 设置表大小,否则可能出现索引越界。

大型语料通常还会设置最低词频或最大词表容量,把低频词统一映射为 <unk>。保存模型时,应同时保存词表及特殊词元编号,不能只保存嵌入层参数。加载阶段还要验证词表大小、编号顺序和嵌入维度是否与检查点一致。

常见错误

  • 将字符串或浮点张量直接传入嵌入层,正确输入应为 torch.long
  • 忘记处理未知词,推理时直接访问不存在的词表键
  • 把 <pad> 与 <unk> 设为同一 ID,使模型无法区分缺失词和补齐位置
  • 训练后重建词表,导致编号与已学习向量错位
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

词表与嵌入层

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通