大模型原理与训练 / 知识点

大模型从选型到部署术语速查

读懂结构与生成原理

对各词元的表示分别进行非线性变换的网络模块;用于理解模型层的计算组成,它不同于在词元之间交换信息的注意力计算。arXiv

前馈网络(FFN)

前馈网络(Feed-Forward Network,FFN)是在 Transformer 层内对每个词元的隐藏表示分别执行同一组非线性变换的模块;它负责变换单个位置的特征,而不直接在不同词元之间交换信息。

成立边界

在标准位置独立的 FFN 中,给定某一层的输入后,一个词元经过 FFN 得到什么,只取决于该词元自己的向量和共享的 FFN 参数。不同位置使用同一套权重,但彼此不会因为 FFN 这一步直接读取对方的表示。

常见实现会先把隐藏维度投影到更大的中间维度,经过激活函数或门控,再投影回模型维度。具体层数和门控形式并不固定,例如带门控的 FFN 不能简单等同于“线性层 + ReLU + 线性层”。

FFN 对各词元独立变换的结构示意

与注意力的区别

模块 主要问题 是否直接混合不同词元
注意力 当前词元应从哪些位置读取信息 是
FFN 当前词元已有表示应如何做非线性特征变换 否

两者通常在同一 Transformer 层中配合工作:注意力负责位置之间的信息交互,FFN 负责对每个位置的结果继续变换。

最小例子

下面的可运行 Python 例子用同一个两层函数分别处理两个“词元向量”,再修改第二个词元,验证第一个词元的 FFN 输出不受影响。它只是说明“逐位置独立”这一边界,不是实际大模型实现。

python
def relu(values):
    return [max(0.0, v) for v in values]

def linear(matrix, vector):
    return [
        sum(weight * value for weight, value in zip(row, vector))
        for row in matrix
    ]

w1 = [[1.0, 0.0], [0.0, 1.0]]
w2 = [[1.0, 0.0], [0.0, 1.0]]

def ffn(token_vector):
    hidden = relu(linear(w1, token_vector))
    return linear(w2, hidden)

tokens = [[1.0, -2.0], [3.0, 4.0]]
print(ffn(tokens[0]))
print(ffn(tokens[1]))

tokens[1] = [100.0, 100.0]
print(ffn(tokens[0]))

预期输出:

text
[1.0, 0.0]
[3.0, 4.0]
[1.0, 0.0]

第三行仍与第一行相同,说明只改变第二个词元时,第一个词元的 FFN 结果不会因此直接改变。

常见误解是把 FFN 理解成“负责理解上下文的部分”。上下文之间的直接信息汇聚主要由注意力等词元混合机制完成,FFN 处理的是已经位于某个位置上的表示。

选择训练与后训练路线

准备数据并判断训练状态

目录与阅读设置

记录一个想法

大模型从选型到部署术语速查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通