大模型原理与训练 / 系统课时

正弦位置编码

正弦位置编码

自注意力本身无法区分词元先后顺序。本课将从公式、频率变化和相对位移三个角度推导正弦位置编码,并用可运行代码生成一组位置向量,验证不同维度如何记录不同尺度的位置变化。

学习目标

  • 理解正弦与余弦位置编码公式中各变量的含义
  • 解释不同频率为何能同时表达短距离与长距离位置
  • 推导固定相对位移可以由线性变换表示

为什么需要位置编码

自注意力根据词元之间的内容相关性计算权重。若只交换输入词元的顺序,同时按相同方式交换对应向量,注意力计算本身不会知道哪个词元原来在前、哪个在后。

位置编码为序列中每个位置生成一个 dmodeld_{model} 维向量,并与词嵌入相加:

Xinput=Xtoken+PEX_{input}=X_{token}+PE

这样,进入注意力层的表示同时包含“是什么”和“在哪里”。

正弦与余弦公式

对于位置 pospos 和维度索引 ii,偶数维使用正弦,奇数维使用余弦:

PE(pos,2i)=sin⁡(pos100002i/dmodel)PE(pos,2i)=\sin\left(\frac{pos}{10000^{2i/d_{model}}}\right)
PE(pos,2i+1)=cos⁡(pos100002i/dmodel)PE(pos,2i+1)=\cos\left(\frac{pos}{10000^{2i/d_{model}}}\right)

同一对偶数维与奇数维共享频率,只相差正弦与余弦两个相位。随着 ii 增大,分母变大,角度变化变慢,因此低维对相邻位置更敏感,高维则能稳定表达更长距离。

正弦位置编码多频率示意图

不同频率如何表达位置

每一对维度都像一个以不同速度转动的指针。高频维度在位置增加时变化明显,适合区分相邻词元;低频维度变化缓慢,适合区分较远位置。把多组频率组合起来后,一个位置会获得近似唯一的连续模式。

这种设计没有需要训练的参数,能够直接计算任意位置的编码。模型即使遇到比训练序列稍长的位置,也仍可按同一公式生成向量,但超长序列上的泛化效果仍取决于训练范围和模型结构。

为什么能表示相对位置

令某一频率为 ωi\omega_i,对应二维向量为:

vi(pos)=[sin⁡(ωipos)cos⁡(ωipos)]v_i(pos)= \begin{bmatrix} \sin(\omega_i pos)\\ \cos(\omega_i pos) \end{bmatrix}

位置增加固定距离 kk 后,可写成:

vi(pos+k)=[cos⁡(ωik)sin⁡(ωik)−sin⁡(ωik)cos⁡(ωik)]vi(pos)v_i(pos+k)= \begin{bmatrix} \cos(\omega_i k) & \sin(\omega_i k)\\ -\sin(\omega_i k) & \cos(\omega_i k) \end{bmatrix} v_i(pos)

矩阵中的系数只与相对距离 kk 有关,与绝对位置 pospos 无关。也就是说,在每个频率对中,位置平移等价于一次固定旋转,这为模型学习相对距离关系提供了结构基础。

生成并验证位置编码

下面的 Python 示例生成长度为 44、维度为 66 的位置编码。偶数列写入正弦,奇数列写入余弦:

python
import numpy as np

def sinusoidal_encoding(seq_len: int, d_model: int) -> np.ndarray:
    positions = np.arange(seq_len)[:, np.newaxis]
    even_indices = np.arange(0, d_model, 2)[np.newaxis, :]
    angles = positions / np.power(10000, even_indices / d_model)

    encoding = np.zeros((seq_len, d_model))
    encoding[:, 0::2] = np.sin(angles)
    encoding[:, 1::2] = np.cos(angles)
    return encoding

result = sinusoidal_encoding(seq_len=4, d_model=6)
print(np.round(result, 4))

预期输出:

text
[[ 0.      1.      0.      1.      0.      1.    ]
 [ 0.8415  0.5403  0.0464  0.9989  0.0022  1.    ]
 [ 0.9093 -0.4161  0.0927  0.9957  0.0043  1.    ]
 [ 0.1411 -0.99    0.1388  0.9903  0.0065  1.    ]]

位置 00 的所有正弦值为 00,余弦值为 11。随着位置增加,前两列变化最快,后两列变化最慢,这正对应不同频率的设计。

本课总结

  • 正弦位置编码用多组不同频率的正弦与余弦向量表示绝对位置
  • 高频维度关注局部变化,低频维度覆盖更长距离
  • 固定位置偏移可表示为只依赖相对距离的线性旋转变换

下一课预告

下一课将把位置编码与多头注意力连接起来,观察完整 Transformer 子层中的张量如何流动。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

正弦位置编码

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通