大模型原理与训练 / 系统课时

用 RoPE 注入相对位置信息

用 RoPE 注入相对位置信息

自注意力如果只比较 token 内容,本身无法知道两个 token 谁在前、相隔多远。RoPE 通过按位置旋转 Q 和 K 的二维分量,让注意力内积自然携带相对距离信息。本节还会说明为什么把上下文直接拉长到训练范围之外存在风险。

学习目标

  • 解释 RoPE 如何按位置旋转 Q 和 K 的成对维度
  • 理解注意力内积为什么能够得到相对位置 n−mn-m
  • 识别上下文扩展时位置外推带来的分布偏移风险

把位置变成旋转角度

RoPE 的核心不是给 token 向量直接加一个位置向量,而是对 Query 和 Key 做与位置有关的旋转。对于隐藏维度中的第 ii 组二维分量,位置 mm 对应旋转角 mθim\theta_i,不同维度组使用不同频率 θi\theta_i。

若原始 Query 的一组分量为 (q2i,q2i+1)(q_{2i},q_{2i+1}),旋转后可写成:

q2i′=q2icos⁡(mθi)−q2i+1sin⁡(mθi)q'_{2i}=q_{2i}\cos(m\theta_i)-q_{2i+1}\sin(m\theta_i)
q2i+1′=q2isin⁡(mθi)+q2i+1cos⁡(mθi)q'_{2i+1}=q_{2i}\sin(m\theta_i)+q_{2i+1}\cos(m\theta_i)

Key 使用同样的规则,只是位置可能是 nn。旋转不会额外增加向量维度,也不需要为每个位置学习一套独立参数;位置信息直接进入随后计算注意力分数的 Q/K 表示。

RoPE 通过旋转 Q 和 K 编码相对位置

内积只保留相对位置

设 RmR_m 表示位置 mm 对应的旋转,位置 mm 的 Query 为 RmqR_mq,位置 nn 的 Key 为 RnkR_nk。计算注意力分数时会出现:

(Rmq)T(Rnk)=qTRn−mk(R_mq)^T(R_nk)=q^TR_{n-m}k

关键就在右侧:两个绝对位置 mm 和 nn 被组合成了相对位移 n−mn-m。因此,同样相隔 3 个位置的一对 token,即使整体向后移动,它们在旋转关系上仍保留一致的相对距离结构。

不同维度组使用不同旋转频率也很重要。较高频率的维度对短距离变化更敏感,较低频率的维度变化更慢,可以表达更长尺度的位置关系。模型最终在多个频率上同时比较 token 内容与相对位置。

这也是 RoPE 与简单绝对位置嵌入的重要区别:位置没有只在输入层出现一次,而是直接参与每一层注意力中 Q/K 的几何关系。

为什么长上下文不是免费得到的

RoPE 的公式可以计算任意大的位置编号,但“能够算出旋转角”不等于模型已经学会处理任意长度。假设训练时模型主要见过位置 00 到 L−1L-1,推理时突然使用远大于 LL 的位置,就会出现位置外推。

随着位置增加,各频率对应的相位继续旋转。一些维度组合会进入训练阶段很少甚至从未出现过的相位关系,注意力分数的统计分布也可能随之改变。模型因此可能出现长距离检索下降、近远位置偏好异常,或者生成质量在超过某个长度后快速恶化。

扩展上下文时要看什么

实际模型常通过位置缩放、频率调整或在更长序列上继续训练来扩展 RoPE 的工作范围。这些方法的共同目标,是让推理阶段的位置相位关系尽量落在模型能够处理的范围内,而不是简单把最大位置编号改大。

评估扩展是否成功时,不应只检查模型能否接受更长输入,还要观察长距离信息检索、困惑度或任务准确率是否随长度稳定,并同时检查短上下文能力有没有明显退化。一个模型能够完成 128K token 的前向计算,并不自动意味着它能可靠利用 128K token 中的全部信息。

RoPE 的价值在于把位置编码转化成 Q/K 的旋转,使注意力内积天然依赖相对距离;它的限制也来自同一套旋转几何。理解相位、频率和训练位置范围之间的关系,才能正确判断一个模型的长上下文能力来自哪里,以及外推到更长序列时为什么需要额外设计。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 RoPE 注入相对位置信息

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通