大模型原理与训练 / 系统课时

理解门控前馈层的表达优势

理解门控前馈层的表达优势

普通前馈层让中间通道经过单一路径的非线性变换;SwiGLU 则把输入投影成两条分支,再让其中一条逐元素调制另一条。看懂这次“先分流、再相乘”,就能理解门控为何增强通道选择和非线性表达。

学习目标

  • 写出标准前馈层与 SwiGLU 的计算形式
  • 解释门控分支如何根据当前输入调节中间通道
  • 理解门控带来的表达能力与参数开销之间的取舍

标准前馈层只有一条变换主路

Transformer 的前馈网络通常对每个 token 独立计算。经典形式可以写成:

FFN(x)=W2 ϕ(W1x)\mathrm{FFN}(x)=W_2\,\phi(W_1x)

输入先通过 W1W_1 投影到更宽的中间维度,再经过激活函数,最后由 W2W_2 投影回模型维度。每个中间通道是否产生较强响应,主要由同一个投影结果和固定激活函数 ϕ\phi 决定,没有另一组独立特征专门控制它的传递强度。

SwiGLU 把输入拆成门和值两条分支

SwiGLU 常写成:

h=SiLU(Wgatex)⊙(Wupx)h=\mathrm{SiLU}(W_{gate}x)\odot(W_{up}x)
y=Wdownhy=W_{down}h

其中 ⊙\odot 表示逐元素乘法。输入 xx 同时进入两个独立线性投影:一条经过 SiLU 形成门控信号,另一条产生待传递的特征;二者相乘后,再由降维投影得到输出。

SwiGLU 门控前馈层数据流

乘法让通道选择依赖当前输入

对某个中间通道 jj,SwiGLU 可以写成:

hj=SiLU(aj)⋅bjh_j=\mathrm{SiLU}(a_j)\cdot b_j

这里 aja_j 与 bjb_j 来自两组不同参数。门控分支响应幅值较小时,对应特征会被削弱;响应幅值较大时,另一分支的特征就能以更强权重进入后续计算。因此“这个通道表达什么”和“当前输入下应该传递多少”不再完全由同一次投影决定。

这种逐元素乘法与简单相加不同。相加只是叠加两组特征,而相乘会让一组特征直接调制另一组特征,从而引入输入相关的乘法交互,使前馈层能够形成更丰富的条件化表示。

表达增强不是免费的

如果 SwiGLU 保持与传统 FFN 完全相同的中间维度,就会因为多出一个输入投影而增加参数量和计算量。因此实际模型设计通常会缩小门控前馈层的中间维度,使整体参数预算与传统 FFN 接近,再利用门控乘法获得更强的表达能力。

这也是比较两种结构时容易忽略的地方:不能只比较“中间维度是多少”,还要同时计算升维投影、门控投影和降维投影三个矩阵的规模。不同模型会根据吞吐、显存和参数预算选择不同的中间宽度。

读懂实现时抓住数据流

具体代码可能使用 gate_proj、up_proj、down_proj 等名称,也可能把两个输入投影合并成一次更大的矩阵乘法,随后再切分张量。命名和实现优化可以变化,但数学结构应满足四个动作:输入形成两条投影、一支经过门控激活、两支逐元素相乘、结果再投影回模型维度。

SwiGLU 的核心价值不只是把激活函数换成 SiLU,而是通过独立门控分支引入乘法调制。它让前馈层能够根据当前 token 的表示,更细致地强化、抑制和组合不同中间通道。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解门控前馈层的表达优势

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通