大模型原理与训练 / 系统课时
正弦位置编码
正弦位置编码
自注意力本身无法区分词元先后顺序。本课将从公式、频率变化和相对位移三个角度推导正弦位置编码,并用可运行代码生成一组位置向量,验证不同维度如何记录不同尺度的位置变化。
学习目标
- 理解正弦与余弦位置编码公式中各变量的含义
- 解释不同频率为何能同时表达短距离与长距离位置
- 推导固定相对位移可以由线性变换表示
为什么需要位置编码
自注意力根据词元之间的内容相关性计算权重。若只交换输入词元的顺序,同时按相同方式交换对应向量,注意力计算本身不会知道哪个词元原来在前、哪个在后。
位置编码为序列中每个位置生成一个 维向量,并与词嵌入相加:
这样,进入注意力层的表示同时包含“是什么”和“在哪里”。
正弦与余弦公式
对于位置 和维度索引 ,偶数维使用正弦,奇数维使用余弦:
同一对偶数维与奇数维共享频率,只相差正弦与余弦两个相位。随着 增大,分母变大,角度变化变慢,因此低维对相邻位置更敏感,高维则能稳定表达更长距离。

不同频率如何表达位置
每一对维度都像一个以不同速度转动的指针。高频维度在位置增加时变化明显,适合区分相邻词元;低频维度变化缓慢,适合区分较远位置。把多组频率组合起来后,一个位置会获得近似唯一的连续模式。
这种设计没有需要训练的参数,能够直接计算任意位置的编码。模型即使遇到比训练序列稍长的位置,也仍可按同一公式生成向量,但超长序列上的泛化效果仍取决于训练范围和模型结构。
为什么能表示相对位置
令某一频率为 ,对应二维向量为:
位置增加固定距离 后,可写成:
矩阵中的系数只与相对距离 有关,与绝对位置 无关。也就是说,在每个频率对中,位置平移等价于一次固定旋转,这为模型学习相对距离关系提供了结构基础。
生成并验证位置编码
下面的 Python 示例生成长度为 、维度为 的位置编码。偶数列写入正弦,奇数列写入余弦:
import numpy as np
def sinusoidal_encoding(seq_len: int, d_model: int) -> np.ndarray:
positions = np.arange(seq_len)[:, np.newaxis]
even_indices = np.arange(0, d_model, 2)[np.newaxis, :]
angles = positions / np.power(10000, even_indices / d_model)
encoding = np.zeros((seq_len, d_model))
encoding[:, 0::2] = np.sin(angles)
encoding[:, 1::2] = np.cos(angles)
return encoding
result = sinusoidal_encoding(seq_len=4, d_model=6)
print(np.round(result, 4))预期输出:
[[ 0. 1. 0. 1. 0. 1. ]
[ 0.8415 0.5403 0.0464 0.9989 0.0022 1. ]
[ 0.9093 -0.4161 0.0927 0.9957 0.0043 1. ]
[ 0.1411 -0.99 0.1388 0.9903 0.0065 1. ]]位置 的所有正弦值为 ,余弦值为 。随着位置增加,前两列变化最快,后两列变化最慢,这正对应不同频率的设计。
本课总结
- 正弦位置编码用多组不同频率的正弦与余弦向量表示绝对位置
- 高频维度关注局部变化,低频维度覆盖更长距离
- 固定位置偏移可表示为只依赖相对距离的线性旋转变换
下一课预告
下一课将把位置编码与多头注意力连接起来,观察完整 Transformer 子层中的张量如何流动。