机器学习与深度学习 / 系统课时

注意力机制的直觉

注意力机制的直觉

本课解决一个核心问题:当输入中同时存在许多信息时,模型怎样为当前任务挑出最相关的部分。你将用“查询、键、值”的检索视角理解注意力,并看清权重如何把多个信息聚合成一个新的表示。

学习目标

  • 说清查询、键和值各自承担的职责
  • 理解相关性分数如何转成注意力权重
  • 区分注意力选择信息与直接复制信息

为什么需要注意力

处理长句、图像区域或一组特征时,模型通常不需要平均看待全部输入。例如理解“苹果发布了新芯片,它提升了性能”中的“它”时,模型应重点关联“新芯片”,而不是“苹果”或“性能”。

注意力机制不先把所有信息压缩成同一个固定摘要,而是根据当前任务动态计算相关性。当前需求变化时,被关注的信息也会变化,因此同一组输入可以产生不同的聚合结果。

查询、键、值与加权聚合关系图

查询、键和值如何分工

可以把注意力看成一次“带相似度的检索”。查询负责表达当前要找什么,键负责描述每条信息适合被什么查询命中,值则保存真正要取出的内容。

角色 作用 检索类比
查询 Query 表达当前需求 搜索词
键 Key 参与相关性匹配 索引或标签
值 Value 被加权汇总的内容 搜索结果正文

键和值通常来自同一输入项,但职责不同。模型用查询和键计算“该看多少”,再用这个权重处理值,而不是直接把键本身当作最终输出。

加权聚合怎样发生

设查询为 qq,第 ii 个输入提供键 kik_i 和值 viv_i。注意力先计算相关性分数,再通过 Softmax 把分数变成总和为 1 的权重,最后对值求加权和:

si=score⁡(q,ki)s_i=\operatorname{score}(q,k_i)
αi=esi∑jesj\alpha_i=\frac{e^{s_i}}{\sum_j e^{s_j}}
o=∑iαivio=\sum_i \alpha_i v_i

假设三个输入的注意力权重分别为 0.7、0.2 和 0.1,输出就由第一个值贡献 70%,另外两个值分别贡献 20% 和 10%。权重越大,表示该值对当前输出影响越强。

容易混淆的两个问题

注意力不是从多个值中只挑一个。Softmax 通常会让所有位置都保留非零贡献,只是相关位置的权重更高;只有在特殊设计中才会形成近似硬选择。

注意力权重也不等同于绝对解释。它能展示当前计算中的信息分配,但模型还包含线性变换、残差连接和后续层,因此不能仅凭某一层权重断言模型完整的决策原因。

本课总结

  • 查询描述需求,键用于匹配,值承载要聚合的内容
  • 注意力通过相关性、Softmax 和加权求和生成动态表示
  • 权重表示当前计算中的贡献大小,不等于硬选择或完整因果解释

下一课预告

下一课将把这套直觉写成缩放点积注意力公式,逐步完成矩阵乘法、缩放、Softmax 和输出计算。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

注意力机制的直觉

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通