大模型原理与训练 / 系统课时

旋转位置编码

旋转位置编码

本课解决 Transformer 如何在不直接相加位置向量的情况下感知词元距离的问题。你将理解 RoPE 如何旋转查询与键,并看清注意力分数为何会自然包含相对位置信息。

学习目标

  • 理解 RoPE 对向量成对维度执行旋转的基本方式
  • 推导查询与键的点积为何只依赖相对位置
  • 识别 RoPE 的使用位置、优势与常见边界

从绝对位置到旋转角度

普通绝对位置编码通常把位置向量与词元表示相加。RoPE 则不改写词元表示本身,而是在计算注意力前,根据词元位置旋转查询向量 QQ 和键向量 KK。位置越靠后,累积旋转角度越大。

对于向量中的第 ii 对维度,可将 (x2i,x2i+1)(x_{2i},x_{2i+1}) 看成二维平面上的一个点。位置 mm 对应的旋转角为 mθim\theta_i,变换写成:

R(mθi)[x2ix2i+1]=[cos⁡(mθi)−sin⁡(mθi)sin⁡(mθi)cos⁡(mθi)][x2ix2i+1]R(m\theta_i) \begin{bmatrix} x_{2i} \\ x_{2i+1} \end{bmatrix} = \begin{bmatrix} \cos(m\theta_i) & -\sin(m\theta_i) \\ \sin(m\theta_i) & \cos(m\theta_i) \end{bmatrix} \begin{bmatrix} x_{2i} \\ x_{2i+1} \end{bmatrix}

不同维度对使用不同频率 θi\theta_i。高频维度对短距离变化更敏感,低频维度可以表示更长范围的位置关系。

RoPE 按位置旋转查询与键的结构示意图

图中最重要的关系不是某个向量最终朝向哪里,而是两个位置对应的旋转角之差。这个角度差会直接进入查询与键的相似度计算。

相对位置如何进入点积

设原始查询和键分别为 qmq_m、knk_n,它们位于位置 mm 和 nn。经过旋转后,注意力中的点积为:

(Rmqm)T(Rnkn)=qmTRmTRnkn=qmTRn−mkn(R_m q_m)^T(R_n k_n) = q_m^T R_m^T R_n k_n = q_m^T R_{n-m} k_n

由于 RmTRn=Rn−mR_m^T R_n=R_{n-m},最终结果只与位置差 n−mn-m 有关。模型仍然使用标准点积注意力,但点积已经同时编码了内容相似度与相对距离。

例如,位置 2 的查询关注位置 5 的键时,旋转差对应距离 3。把整段序列同时向后平移,只要两个词元的距离不变,这部分位置关系就保持一致。

RoPE 放在注意力的哪里

RoPE 通常应用在每个注意力头的 QQ 和 KK 上,然后再计算缩放点积与 Softmax。值向量 VV 一般不旋转,因为它负责承载被聚合的内容,而位置关系主要用于决定“关注谁”。

处理顺序可以概括为:线性投影得到 QQ、KK、VV,按位置旋转 QQ、KK,计算注意力分数,应用掩码与 Softmax,最后对 VV 加权求和。RoPE 不改变注意力矩阵的基本计算接口,因此容易集成进现有 Transformer。

优势与使用边界

RoPE 把相对位置信息融入点积,既保留了绝对位置对应的旋转状态,又让查询与键之间的关系显式依赖距离。它不需要额外生成一张位置偏置矩阵,对自回归模型尤其自然。

实现时需要注意三点:注意力头维度通常应为偶数,便于按二维成对旋转;训练长度之外的外推效果并非自动可靠;长上下文模型常会配合频率缩放或位置插值,减缓高位置处角度变化过快的问题。

RoPE 与“直接给注意力分数加偏置”不是同一种机制。前者先改变 QQ、KK 的几何方向,后者在点积之后额外调整分数,两者都能表达相对位置,但作用位置不同。

本课总结

  • RoPE 将向量维度两两分组,并按词元位置执行不同频率的二维旋转
  • 查询与键旋转后的点积包含 Rn−mR_{n-m},因此自然依赖相对距离
  • RoPE 通常只作用于 QQ、KK,长上下文场景还需考虑频率缩放与外推边界

下一课预告

下一课将学习相对位置偏置,理解模型如何把词元距离映射为可学习偏置,并直接加入注意力分数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

旋转位置编码

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通