大模型原理与训练 / 系统课时

词元嵌入

词元嵌入

词元编号只是离散标签,本身没有大小、方向或相似度。词元嵌入通过一次矩阵查表,把每个编号转换成可训练的连续向量,使 Transformer 能够在统一的向量空间中处理文本。

学习目标

  • 理解嵌入矩阵的形状和查表过程
  • 说明词元向量如何通过训练被更新
  • 区分输入嵌入与经过 Transformer 后的上下文表示

从编号到连续向量

假设词表大小为 VV,嵌入维度为 dd,模型会维护一个矩阵 EE,其形状为 V×dV \times d。矩阵的每一行对应一个词元编号,因此编号 tit_i 的嵌入就是:

xi=E[ti]x_i = E[t_i]

这里不是用编号做数值计算,而是把编号当作行索引。编号 100 不表示它比编号 20 更大或更重要,它们只是指向嵌入矩阵中的不同位置。

词元编号查找嵌入向量

查表后的形状

若一个样本包含 nn 个词元,输入 ID 的形状可以写成 nn,查表后就得到 n×dn \times d 的向量矩阵。批量输入包含 bb 个样本时,常见输出形状为 b×n×db \times n \times d。

例如,三个词元编号分别查到三行向量:

词元 ID 嵌入向量示意
12 [0.21,−0.08,0.44][0.21,-0.08,0.44]
37 [−0.15,0.63,0.09][-0.15,0.63,0.09]
205 [0.72,0.11,−0.31][0.72,0.11,-0.31]

这些数值在训练开始时通常是随机初始化的。它们没有人工规定的含义,语义关系来自后续训练目标不断调整。

嵌入为什么能够学习

嵌入矩阵是模型参数的一部分。前向计算使用某些词元对应的行,损失反向传播时,梯度会更新这些被访问的向量,使它们逐渐更适合预测、分类或生成任务。

同一个词元编号在输入层总是查到同一行,因此初始词元嵌入是静态的。不过,相同词元进入不同句子后,会与其他词元发生注意力交互,最终形成不同的上下文表示。

与上下文表示的区别

输入嵌入回答的是“这个词元从哪个起点进入模型”。Transformer 层输出回答的是“这个词元在当前上下文中表示什么”。例如“苹果手机”和“吃苹果”中的“苹果”可以拥有相同的输入嵌入,但经过上下文计算后得到不同向量。

实际模型还可能把词元嵌入与位置嵌入、片段嵌入相加。相加后的结果才作为 Transformer 第一层的输入,因此嵌入层不仅承载词元身份,也为顺序和句段信息提供入口。

参数量与设计取舍

词元嵌入的参数量约为 V×dV \times d。扩大词表可以减少拆分长度,但会增加矩阵行数;提高嵌入维度可以提供更大的表示空间,但也会增加参数量、显存占用和计算成本。

一些语言模型会让输入嵌入矩阵与输出预测矩阵共享权重,以减少参数并强化输入、输出词表之间的对应关系。这种做法称为权重绑定,但是否采用取决于具体模型结构。

本课总结

  • 词元嵌入本质上是按词元 ID 从 V×dV \times d 矩阵中查找对应行
  • 嵌入向量是可训练参数,其语义来自损失函数驱动的梯度更新
  • 输入嵌入是固定起点,上下文表示则会随句子环境发生变化

下一课预告

下一课将继续补充位置信息,理解为什么只靠词元嵌入还无法让 Transformer 区分词序。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

词元嵌入

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通