大模型原理与训练 / 系统课时

用 Embedding 映射离散词元

用 Embedding 映射离散词元

Tokenizer 得到的词元 ID 只是离散编号,数字之间没有可直接利用的距离关系。Embedding 会用这些 ID 从一个可训练矩阵中取出连续向量,使每个词元获得模型能够计算和更新的表示。本篇将把查表过程、矩阵形状和梯度更新连成一条完整链路。

学习目标

  • 读懂 Embedding 矩阵的词表维度与向量维度,并判断输入输出形状。
  • 理解词元 ID 如何通过查表变成连续向量,而不是把 ID 当作数值直接计算。
  • 观察 Embedding 参数如何接收梯度并在训练过程中更新。

Embedding 本质是一张可训练的表

假设词表共有 V 个词元,每个词元需要一个 d 维表示,那么词元嵌入矩阵的形状就是 V × d。矩阵的每一行对应一个词元 ID,每一列对应向量中的一个特征维度。

当输入 ID 为 3 时,Embedding 做的核心操作就是取出矩阵第 3 行。输入 [3, 1, 3] 时,它会依次取出第 3、1、3 行,因此相同 ID 在同一次查表中得到相同的参数向量。

词元 ID 查询 Embedding 矩阵并形成向量序列

这里最重要的边界是:ID 的数值大小没有连续意义。ID 100 并不比 ID 10 大十倍,也不代表两个词元之间更远。ID 只是访问矩阵行的索引,真正参与后续神经网络计算的是查到的向量。

输入形状如何变成输出形状

如果一条样本含有 T 个词元,输入 ID 的形状可以记为 [T],经过 d 维 Embedding 后变成 [T, d]。批量输入 B 条样本时,常见形状则从 [B, T] 变成 [B, T, d]。

Embedding 不会在这个过程中减少词元数量。它只是给每个离散位置增加一个连续向量维度,后面的注意力层才能基于这些向量执行线性变换、点积和加权求和。

看一次真实的查表与反向传播

下面使用 PyTorch 构造一个包含 5 个词元、每个词元 3 维的 Embedding,并手工固定初始权重。对 ID 1 和 3 查表后求和并反向传播,可以直接观察哪些参数行收到了梯度。

python
import torch
from torch import nn

embedding = nn.Embedding(num_embeddings=5, embedding_dim=3)

with torch.no_grad():
    embedding.weight.copy_(torch.tensor([
        [0.0, 0.0, 0.0],
        [1.0, 1.0, 1.0],
        [2.0, 2.0, 2.0],
        [3.0, 3.0, 3.0],
        [4.0, 4.0, 4.0],
    ]))

ids = torch.tensor([1, 3])
vectors = embedding(ids)
loss = vectors.sum()
loss.backward()

print(vectors.detach())
print(embedding.weight.grad)

预期输出

text
tensor([[1., 1., 1.],
        [3., 3., 3.]])
tensor([[0., 0., 0.],
        [1., 1., 1.],
        [0., 0., 0.],
        [1., 1., 1.],
        [0., 0., 0.]])

输入只访问了第 1 行和第 3 行,所以这个简单损失对这两行产生梯度,而其他行梯度为零。真实语言模型的损失和计算图复杂得多,但基本机制相同:Embedding 是模型参数的一部分,梯度会沿反向传播链路回到相关向量,优化器再据此更新它们。

不要把 Embedding 当成固定词义表

训练开始时,嵌入向量通常只是初始化得到的一组数。随着语言建模损失不断反向传播,不同词元的向量才逐渐调整到有利于预测任务的位置。因此它不是人工预先规定的词义坐标,也不能只看单个维度就解释某个词元的完整语义。

另外,纯词元 Embedding 只回答“当前位置是什么词元”,尚未表达“它位于序列哪里”。GPT 类 Transformer 还需要把位置信息引入表示,然后才进入后续注意力和前馈网络计算。

从数据形态看,这一步完成了关键转换:整数 ID [B, T] 经过对可训练矩阵的索引,成为连续表示 [B, T, d]。从这里开始,离散的文本编号才真正进入神经网络的连续数值计算空间。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Embedding 映射离散词元

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通