大模型原理与训练 / 系统课时

点积与相似度

点积与相似度

本课解释点积如何把两个向量压缩成一个相似性分数,并进一步说明注意力机制为什么使用缩放点积。学完后,你能判断分数的几何含义,也能识别点积与余弦相似度的差别。

学习目标

  • 掌握点积的计算规则与几何意义
  • 区分点积和余弦相似度的适用场景
  • 理解缩放点积注意力如何产生权重

点积计算了什么

两个同维向量 a=(a1,…,an)a=(a_1,\ldots,a_n) 与 b=(b1,…,bn)b=(b_1,\ldots,b_n) 的点积,是对应位置相乘后求和:

a⋅b=∑i=1naibia\cdot b=\sum_{i=1}^{n}a_i b_i

例如,a=(1,2,−1)a=(1,2,-1),b=(2,0,3)b=(2,0,3),则点积为 1×2+2×0+(−1)×3=−11\times2+2\times0+(-1)\times3=-1。点积把两个向量的逐维匹配结果汇总为一个标量,因此适合用作相关性分数。

点积要求两个向量维度一致。它不产生新方向,而是回答“这两个表示在各维度上总体有多一致”。

点积的几何意义

点积也可以写成:

a⋅b=∥a∥∥b∥cos⁡θa\cdot b=\lVert a\rVert\lVert b\rVert\cos\theta

其中,θ\theta 是两个向量的夹角。夹角小于 90∘90^\circ 时点积为正,说明方向大体一致;等于 90∘90^\circ 时点积为零;大于 90∘90^\circ 时点积为负,说明方向相反的成分更多。

点积符号与向量夹角的关系

几何解释揭示了一个关键事实:点积同时受方向和长度影响。两个向量方向完全相同,但其中一个长度更大,点积也会更大。

点积与余弦相似度

余弦相似度会除去向量长度,只保留方向关系:

cosine⁡(a,b)=a⋅b∥a∥∥b∥\operatorname{cosine}(a,b)=\frac{a\cdot b}{\lVert a\rVert\lVert b\rVert}

它的取值通常在 [−1,1][-1,1]。当任务只关心方向是否相似,例如比较经过归一化的文本向量时,余弦相似度更直观。若向量长度本身也携带置信度、强度或激活规模,直接点积可能更合适。

零向量的长度为零,因此余弦相似度没有定义。实际系统通常会加入极小值避免除零,但这只是数值保护,不能让零向量获得有效方向。

注意力中的缩放点积

在注意力机制中,查询向量 qq 与键向量 kk 的相关性先计算为:

score⁡(q,k)=q⋅kdk\operatorname{score}(q,k)=\frac{q\cdot k}{\sqrt{d_k}}

其中 dkd_k 是向量维度。除以 dk\sqrt{d_k} 可以抑制高维点积随维度增大而变得过大的问题,避免 Softmax 过早饱和。

设 q=(1,1)q=(1,1),三个键分别为 k1=(1,1)k_1=(1,1)、k2=(1,−1)k_2=(1,-1)、k3=(−1,−1)k_3=(-1,-1)。缩放前点积依次为 22、00、−2-2,除以 2\sqrt{2} 后再做 Softmax,可得到近似权重:

键 缩放后分数 注意力权重
k1k_1 1.4141.414 0.7680.768
k2k_2 00 0.1870.187
k3k_3 −1.414-1.414 0.0450.045

权重最大的 k1k_1 与查询方向最一致,因此对应的值向量会对最终输出贡献更多。注意力并不是直接选择一个键,而是用归一化权重对多个值向量进行加权汇总。

判断结果时的边界

点积高不一定代表纯粹的方向相似,也可能只是向量范数较大。比较不同来源的向量时,应先确认是否做过归一化,以及长度是否具有业务含义。

注意力中的点积表示模型学习空间里的匹配程度,不等同于现实世界中的因果关系。分数还会受到投影矩阵、训练目标、掩码和 Softmax 的共同影响。

本课总结

  • 点积是对应元素乘积之和,同时反映方向一致性与向量长度
  • 余弦相似度通过归一化去除长度影响,零向量不能直接计算
  • 缩放点积通过除以 dk\sqrt{d_k} 稳定注意力分数,再由 Softmax 转成权重

下一课预告

下一课将把向量、矩阵乘法和点积放入更完整的张量计算中,继续分析 Transformer 如何组织批次、序列长度和特征维度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

点积与相似度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通