大模型原理与训练 / 系统课时

Transformer 的核心思路

Transformer 的核心思路

Transformer 要解决的核心问题,是让模型在处理序列时既能直接关注远距离信息,又能充分利用并行计算。本课从全局依赖、并行计算和注意力机制三个角度,建立对其设计思想的整体认识。

学习目标

  • 说明 Transformer 为什么不依赖逐步递归计算
  • 理解自注意力如何建立任意位置之间的联系
  • 解释全局依赖、并行计算与多头注意力如何协同

问题:顺序计算限制了效率与依赖范围

传统循环网络通常按照词序逐步更新隐藏状态,第 tt 个位置必须等待第 t−1t-1 个位置完成。这样的结构天然适合表达顺序,但训练阶段难以把整个序列同时送入同一层计算,长距离信息还要经过多次状态传递。

Transformer 改变了这个思路:不再让信息沿时间步逐个传递,而是让序列中的所有位置在同一层直接交换信息。于是,“谁与谁相关”不再由传播距离决定,而由注意力权重决定。

全局依赖:自注意力直接连接任意位置

自注意力会把每个位置映射为查询 QQ、键 KK 和值 VV。查询与所有键计算相似度,再用归一化后的权重汇总对应的值:

Attention⁡(Q,K,V)=softmax⁡(QKTdk)V\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

因此,一个词可以在单层中直接关注句首、句尾或中间任意位置。多头注意力还会把表示拆分到多个子空间,使不同头分别学习指代、语法、位置或主题等关系,而不是只形成一组单一权重。

并行计算:一次处理完整序列

自注意力不要求第一个位置先算完、第二个位置再开始。训练时,同一层可以同时计算全部位置的查询、键和值,再通过矩阵运算得到注意力结果。这种结构更适合 GPU 等并行硬件,也能显著缩短深层模型的训练链路。

并行计算也带来一个新问题:模型本身不再天然知道词的先后顺序。因此,输入表示通常要加入位置编码,让模型区分“猫追狗”和“狗追猫”这类词相同但顺序不同的序列。

三个核心思路如何协同

全局依赖解决“远处信息能否直接访问”,注意力机制解决“应该关注谁以及关注多少”,并行计算解决“能否高效完成整层运算”。三者组合后,Transformer 可以在一次层计算中完成全序列的信息交互。

Transformer 三个核心思路关系图

这种设计并非没有代价。标准自注意力需要计算长度为 nn 的序列中所有位置对,时间和显存开销通常随 n2n^2 增长,因此超长文本需要稀疏注意力、分块或压缩等进一步优化。

本课总结

  • 自注意力让任意位置能够在单层中直接交换信息
  • Transformer 去除逐步递归依赖,使序列训练可以高度并行
  • 多头注意力和位置编码分别补充多种关系建模与顺序信息

下一课预告

下一课将把这些核心思路放入具体结构中,比较编码器、解码器和编码器—解码器三类架构的组成方式与适用任务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Transformer 的核心思路

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通