大模型原理与训练 / 系统课时

加入逐位置前馈网络

加入逐位置前馈网络

自注意力解决的是不同 Token 之间如何交换信息,但交换后的每个位置还需要独立做非线性变换。本篇实现 GPT Block 中的前馈网络,让每个 Token 在不与其他位置混合的前提下完成“扩维、激活、投影回嵌入维度”的特征加工。

学习目标

  • 理解注意力与逐位置前馈网络在 GPT Block 中的职责分工
  • 用两层线性层和非线性激活实现逐位置 MLP
  • 验证前馈网络只改变最后一个特征维,不改变批次和序列长度

为什么还需要前馈网络

多头注意力输出形状仍是 (B, T, C)。它擅长根据上下文重新组合不同 Token 的信息,但如果后面没有非线性变换,模型对每个位置内部特征的加工能力会受限。

逐位置前馈网络对序列中的每个位置应用同一套 MLP。对于某个 Token,它只读取自己的 C 维向量,不直接读取相邻位置。可以把两者分工理解为:注意力负责“从别的位置取什么信息”,前馈网络负责“拿到信息后怎样加工”。

GPT Block 中注意力与逐位置前馈网络分工

实现逐位置 MLP

nanoGPT 风格的前馈网络可以用两个线性层组成。第一层把通道从 C 扩到更宽的隐藏维度,经过激活函数后,第二层再投影回 C。常见 Transformer 会使用 4 * C 作为中间宽度。

下面用 ReLU 保持实现直观。重点不是激活函数名称,而是“先扩维做非线性加工,再回到原始嵌入维度”的结构。

python
import torch
import torch.nn as nn

class FeedForward(nn.Module):
    def __init__(self, n_embd: int):
        super().__init__()
        self.net = nn.Sequential(
            # 扩大每个 Token 的内部特征空间。
            nn.Linear(n_embd, 4 * n_embd),
            nn.ReLU(),
            nn.Linear(4 * n_embd, n_embd),
        )

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.net(x)

if __name__ == "__main__":
    torch.manual_seed(42)
    B, T, C = 2, 8, 32
    x = torch.randn(B, T, C)

    ffwd = FeedForward(n_embd=C)
    y = ffwd(x)

    # 只修改最后一个 Token,其他位置的输出应保持不变。
    x_changed = x.clone()
    x_changed[:, 7, :] += 1000
    y_changed = ffwd(x_changed)

    print("input:", tuple(x.shape))
    print("hidden_width:", 4 * C)
    print("output:", tuple(y.shape))
    print("prefix_unchanged:", torch.allclose(y[:, :7], y_changed[:, :7], atol=1e-5))

预期输出:

text
input: (2, 8, 32)
hidden_width: 128
output: (2, 8, 32)
prefix_unchanged: True

输入和输出都保持 (2, 8, 32),只有模块内部暂时扩展到 128 维。prefix_unchanged: True 则证明修改最后一个 Token 不会影响其他位置,符合逐位置计算的预期。

为什么它不会混合 Token

nn.Linear 默认作用于张量的最后一维。给它 (B, T, C) 输入时,PyTorch 会把同一个线性变换独立应用到全部 B × T 个位置,而不会把 T 维展平后互相混合。

单个位置的计算可以写成:

FFN(xt)=W2 σ(W1xt+b1)+b2\mathrm{FFN}(x_t)=W_2\,\sigma(W_1x_t+b_1)+b_2

其中 x_t 只表示第 t 个 Token 的特征向量。所有位置共享 W_1、W_2,所以参数量不会随序列长度 T 增长,变化的只是实际计算次数。

接入 GPT Block 时保持接口一致

注意力输出 (B, T, C),前馈网络也输出 (B, T, C)。这种形状对齐很重要,因为后续加入残差连接时,需要把子层输出与输入做逐元素相加。

注意力和 MLP 都会改变向量内容,但职责不同:注意力的权重依赖当前序列,并沿时间维聚合历史信息;前馈网络使用固定参数,对每个位置做独立非线性映射,不访问其他位置。

在完整 GPT Block 中,这两个子层通常还会配合残差连接、LayerNorm 和 Dropout。当前最小实现先保证最关键的接口:序列长度不变、嵌入维度最终不变、每个 Token 经过更宽隐藏层独立完成非线性加工。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

加入逐位置前馈网络

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通