大模型原理与训练 / 系统课时

残差连接路径

残差连接路径

残差连接为编码器子层提供一条绕过复杂变换的直接路径,使输入信息能够与注意力或前馈网络产生的增量重新汇合。学完本课,你将能追踪两次残差相加,并区分 Pre-Norm 与 Post-Norm 的计算顺序。

学习目标

  • 追踪编码器中注意力子层和前馈子层的残差路径
  • 说明残差相加对维度和子层输出的要求
  • 区分 Pre-Norm 与 Post-Norm 的执行顺序

残差连接保留一条直接路径

普通子层只输出 Sublayer(x),残差结构则把原输入 x 直接加回结果。子层因此更像是在学习“需要补充或修正多少”,而不是从头重建完整表示。

残差路径并不意味着子层可以忽略输入,而是为前向信息和反向梯度提供更短的通道。当子层学到的更新接近零时,整体仍可近似保持原输入,这对堆叠多个编码器层尤其重要。

编码器中两次残差连接的数据路径

编码器中有两次残差相加

在原始 Transformer 的 Post-Norm 编码器中,注意力子层可表示为:

H1=Norm(X+MHA(X))H_1=Norm(X+MHA(X))

前馈子层继续处理 H_1:

Y=Norm(H1+FFN(H1))Y=Norm(H_1+FFN(H_1))

第一条跳连保留进入注意力子层前的表示,第二条跳连保留进入前馈子层前的表示。实际实现通常先对子层输出应用 dropout,再与跳连分支相加。两条相加路径的形状必须完全一致,所以注意力和前馈网络最终都要输出 d_model 维特征。

用代码追踪信息汇合

下面用向量加法模拟两次残差连接。示例故意省略归一化,以便单独观察“原表示加上子层增量”的路径。

python
def residual_add(source, update):
    if len(source) != len(update):
        raise ValueError("残差分支与子层输出的维度必须一致")
    return [left + right for left, right in zip(source, update)]

x = [1.0, -0.5, 2.0]
attention_update = [0.2, 0.1, -0.4]
h1 = residual_add(x, attention_update)

ffn_update = [-0.1, 0.3, 0.2]
y = residual_add(h1, ffn_update)

print("after attention residual:", [round(value, 1) for value in h1])
print("after ffn residual:", [round(value, 1) for value in y])

预期输出:

text
after attention residual: [1.2, -0.4, 1.6]
after ffn residual: [1.1, -0.1, 1.8]

示例在输出时保留一位小数,便于观察路径。第一次结果同时包含原始 x 与注意力增量,第二次结果又在 h1 基础上叠加前馈网络增量。

Pre-Norm 与 Post-Norm

两种结构的区别在于归一化放在子层之前还是残差相加之后。

结构 计算形式 主要特点
Post-Norm y = Norm(x + Sublayer(x)) 原始 Transformer 采用,归一化作用于相加后的结果
Pre-Norm y = x + Sublayer(Norm(x)) 跳连分支更直接,深层模型通常更容易优化

无论采用哪一种,残差相加都要求两个分支形状一致。阅读实现代码时,应先确认归一化位置,再判断 dropout、子层计算和加法节点的真实顺序,不能只凭类名推断。

常见理解偏差

残差连接不是把旧信息原封不动地永久保存。相加后的表示仍会经过后续归一化、注意力和前馈变换,因此信息可能被重新缩放或改写。它提供的是可学习网络中的直接通路,而不是不可修改的备份。

另一个常见错误是让子层输出维度与输入不同。升维可以发生在前馈网络内部,但进入残差加法节点前必须降回 d_model;否则应增加投影层对齐维度,而不能直接相加。

本课总结

  • 编码器的注意力子层和前馈子层各有一次残差相加
  • 子层输出表示增量,跳连分支提供直接信息与梯度路径
  • Pre-Norm 与 Post-Norm 的核心差异是归一化相对子层和加法节点的位置

下一课预告

下一课将继续分析层归一化的位置与计算对象,理解它如何控制特征尺度,并进一步比较 Pre-Norm 和 Post-Norm 对训练稳定性的影响。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

残差连接路径

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通