大模型原理与训练 / 系统课时

区分编码器与解码器信息流

区分编码器与解码器信息流

Transformer 的“编码器”和“解码器”并不只是两个模块名称,真正的差别在于每个位置能看到哪些信息、注意力从哪里取数据。本篇把双向编码器、带交叉注意力的解码器和 Decoder-only 放在同一张信息流图里比较,建立判断模型结构的统一视角。

学习目标

  • 根据注意力可见范围区分双向编码器、经典解码器和 Decoder-only
  • 解释自注意力、因果自注意力与交叉注意力各自读取什么信息
  • 判断 BERT、原始 Transformer 翻译模型与 GPT 分别属于哪种信息流

先看每个位置能看到什么

注意力结构最关键的问题不是模块叫 Encoder 还是 Decoder,而是当前 token 在计算表示时允许读取哪些位置的信息。

双向编码器中的一个位置通常可以关注同一序列里的所有位置。句子“猫坐在垫子上”中的“坐”既能读取左侧的“猫”,也能读取右侧的“垫子”。因此编码后的表示会综合完整上下文,适合理解、分类和抽取等任务。

自回归解码器必须遵守因果约束。预测当前位置后续内容时,只允许读取当前及此前的位置,不能提前看到未来 token。否则训练时模型会从答案本身泄漏信息。

三种结构的信息流差异

双向编码器、经典解码器与 Decoder-only 的可见信息范围对比

三类结构可以用三个问题快速区分:

结构 同一序列的可见范围 是否读取另一序列 典型用途
双向编码器 左右两侧都可见 通常不需要 文本理解、表示学习
经典解码器 只能看当前位置及之前 通过交叉注意力读取 Encoder 输出 翻译等序列到序列任务
Decoder-only 只能看当前位置及之前 没有独立 Encoder 自回归语言建模

这里最容易混淆的是后两种。原始 Transformer 的 Decoder 并不只有因果自注意力:它还包含 Cross-Attention,用当前解码状态作为查询,去读取 Encoder 对源序列产生的表示。例如翻译时,目标端已经生成的词负责形成查询,源语言整句的编码结果负责提供可读取的上下文。

GPT 所说的 Decoder-only 则更彻底:整个模型中没有独立 Encoder,也就没有可供交叉注意力读取的 Encoder 输出。输入提示、上下文和已经生成的 token 全部放进同一条序列,由因果自注意力统一处理。

注意力类型决定信息边界

普通双向自注意力中,Query、Key、Value 都来自同一序列,并且原则上任意位置之间都可以建立注意力关系。它强调的是“整段内容如何互相解释”。

因果自注意力同样让 Query、Key、Value 来自同一序列,但会屏蔽未来位置。例如计算第 3 个位置时,只允许访问第 1、2、3 个位置,第 4 个位置不可见。这个约束让训练时的并行计算仍然满足自回归生成规则。

交叉注意力则连接两条信息流:Query 来自 Decoder 当前状态,Key 和 Value 来自 Encoder 输出。它解决的是“目标序列当前该如何从源序列取信息”,而不是控制目标序列内部能否看到未来。

用典型模型反推结构

BERT 类模型需要根据左右文共同理解一个位置,因此核心是双向编码器式信息流。经典 Transformer 机器翻译模型先把源语言交给 Encoder,再由 Decoder 在因果约束下生成目标语言,同时通过交叉注意力读取源语言表示。

GPT 则把提示词与后续文本视为同一条不断增长的序列,只保留因果自注意力。它虽然沿用了“Decoder”这个名称,但并不等同于原始 Transformer Decoder:最关键的删除项就是 Encoder 以及依赖它的交叉注意力层。

以后看到一个 Transformer 变体时,与其先记它属于哪个家族,不如先问两个问题:当前位置能否看到未来 token,以及模型中是否存在另一条被交叉注意力读取的信息流。回答这两个问题,通常就能准确判断它的核心结构。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

区分编码器与解码器信息流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通