大模型原理与训练 / 系统课时

理解 RMSNorm 的简化作用

理解 RMSNorm 的简化作用

LayerNorm 通过“减均值再按方差缩放”控制隐藏状态分布,而 RMSNorm 只保留按均方根缩放。理解这一步删掉了什么、又保留了什么,就能看清它为何仍能帮助深层 Transformer 稳定训练。

学习目标

  • 写出 LayerNorm 与 RMSNorm 的核心计算,并指出两者差异
  • 解释 RMSNorm 为什么仍能抑制激活尺度漂移
  • 判断 RMSNorm 的优势、代价与容易误解的边界

从 LayerNorm 的两步归一化开始

设一个 token 的隐藏向量为 x∈Rdx\in\mathbb{R}^d。LayerNorm 先计算特征维上的均值与方差:

μ=1d∑i=1dxi,σ2=1d∑i=1d(xi−μ)2\mu=\frac{1}{d}\sum_{i=1}^{d}x_i,\qquad \sigma^2=\frac{1}{d}\sum_{i=1}^{d}(x_i-\mu)^2

随后把每个分量中心化并缩放:

yi=γixi−μσ2+ϵ+βiy_i=\gamma_i\frac{x_i-\mu}{\sqrt{\sigma^2+\epsilon}}+\beta_i

因此 LayerNorm 同时处理两件事:消除整体偏移,以及约束整体尺度。如果隐藏向量整体加上同一个常数,中心化会消除这部分偏移;如果整体幅值变大,除以标准差又会把尺度拉回稳定范围。

RMSNorm 删掉了均值中心化

RMSNorm 不计算均值,也不执行 xi−μx_i-\mu。它直接用均方根衡量向量尺度:

r=1d∑i=1dxi2+ϵr=\sqrt{\frac{1}{d}\sum_{i=1}^{d}x_i^2+\epsilon}

然后执行:

yi=gixiry_i=g_i\frac{x_i}{r}

其中 gig_i 是可学习缩放参数。很多实现没有与 LayerNorm 中 βi\beta_i 对应的偏置项,因此数据路径更短:统计平方和、求均方根、缩放,再乘可学习权重。

LayerNorm 与 RMSNorm 计算路径对比

为什么不减均值仍能稳定训练

深层网络中的一个关键风险是残差流数值幅值持续放大或缩小。RMSNorm 虽然不保证输出零均值,却会约束向量的均方根;若输入整体放大为 axax,分母也近似变成 ∣a∣r|a|r,因此归一化结果不会随着输入幅值同比放大。

这意味着 RMSNorm 保留了对优化很重要的尺度控制。在采用 Pre-Norm 的 Transformer 中,隐藏状态进入注意力层或前馈层前先被归一化,稳定的输入幅值能够减轻深层堆叠中的数值漂移,并让各层接收到更一致的尺度。

简化带来的实际取舍

两种归一化可以抓住三个核心差异:

维度 LayerNorm RMSNorm
统计量 均值与方差 均方根
均值中心化 有 无
主要控制对象 偏移与尺度 尺度

RMSNorm 少了一组均值相关计算和数据依赖,计算路径更简洁,也便于实现高效融合内核。但现代加速器上的真实收益还取决于张量尺寸、内核融合和内存带宽,不能仅根据公式少几步就推断固定比例的速度提升。

理解 RMSNorm 的关键不是“删掉了 LayerNorm 的一半”,而是它保留了最关键的幅值约束,同时放弃显式均值中心化。只要模型能够适应这一差异,就可以用更简洁的归一化机制维持深层网络所需的尺度稳定性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解 RMSNorm 的简化作用

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通