大模型原理与训练 / 系统课时

编码器与解码器架构

编码器与解码器架构

Transformer 可以按任务需求组合成编码器、解码器或编码器—解码器三类架构。本课将从信息可见范围、数据流向和输出方式入手,帮助你判断不同结构各自适合解决什么问题。

学习目标

  • 区分编码器与解码器的基本职责
  • 说明三类 Transformer 架构的数据流和注意力差异
  • 根据任务目标选择合适的架构类型

两种基本职责:理解与生成

编码器负责把输入序列转换为包含上下文信息的表示。它通常允许每个位置同时查看前后文,因此更适合回答“这段输入表达了什么”“每个位置属于什么类别”之类的问题。

解码器负责按顺序生成输出。生成第 tt 个词元时,只能查看已经出现的前 t−1t-1 个词元,不能提前看到未来答案。这个限制通过因果掩码实现,保证训练阶段与实际生成过程保持一致。

三类架构如何组成

三类 Transformer 架构对比图

编码器架构

编码器架构只保留编码器堆栈。每层通常包含双向自注意力和前馈网络,输出的每个位置都融合了完整上下文。它适合文本分类、序列标注、信息抽取、相似度计算和向量表示等“理解输入”的任务。

解码器架构

解码器架构只保留解码器堆栈,核心是带因果掩码的自注意力。模型根据已有上下文预测下一个词元,再把新词元追加到序列中继续预测。它适合开放式文本生成、代码补全和对话生成等任务。

编码器—解码器架构

这类结构先由编码器读取完整输入,再由解码器逐步生成输出。解码器除了使用因果自注意力,还会通过交叉注意力读取编码器表示,因此特别适合输入与输出边界明确的转换任务,如翻译、摘要和格式转换。

三类结构的关键差异可以归纳如下:

架构 输入可见范围 主要输出 典型任务
编码器 同时查看前后文 上下文表示或标签 分类、抽取、检索
解码器 只能查看已生成内容 下一个词元 续写、对话、代码生成
编码器—解码器 编码器看完整输入,解码器看历史输出并读取编码结果 条件生成序列 翻译、摘要、结构转换

如何选择架构

先判断任务最终需要“理解结果”还是“连续生成”。如果输出是类别、标签、向量或输入片段位置,优先考虑编码器;如果目标是根据上下文不断续写,优先考虑解码器;如果存在清晰的输入序列和目标输出序列,并且输出必须紧密依赖输入,编码器—解码器通常更直接。

架构名称只描述主体结构,并不代表能力边界绝对固定。例如,解码器也能通过提示完成分类,但它仍以生成下一个词元的方式给出答案。选型时应同时考虑任务形式、训练数据、推理速度和部署成本,而不是只看模型名称。

本课总结

  • 编码器使用双向上下文,重点是把输入转换为高质量表示
  • 解码器使用因果掩码,重点是根据历史内容逐步生成
  • 编码器—解码器通过交叉注意力连接输入理解与条件生成

下一课预告

下一课将继续深入 Transformer 的内部模块,拆解自注意力层如何从输入表示计算出查询、键、值和最终输出。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

编码器与解码器架构

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通