大模型原理与训练 / 系统课时

注意力权重聚合

注意力权重聚合

本课解释注意力权重如何真正生成新表示。你将把 Softmax 得到的权重与 Value 向量对应相乘并求和,理解输出为何会随当前查询改变,以及矩阵形式 AVAV 中每个维度承担的职责。

学习目标

  • 写出注意力权重聚合的向量与矩阵公式
  • 解释 Key、Value 和注意力权重的不同职责
  • 根据给定权重计算上下文向量

从权重到上下文表示

对第 ii 个查询,Softmax 会产生一组权重 αi1,αi2,…,αin\alpha_{i1},\alpha_{i2},\ldots,\alpha_{in}。这些权重均不小于 0,且总和为 1。输出向量是所有 Value 向量的加权和:

oi=∑j=1nαijvjo_i=\sum_{j=1}^{n}\alpha_{ij}v_j

权重越大,对应 Value 对输出的贡献越大。由于不同查询会产生不同权重,同一组 Value 可以被聚合成不同的上下文表示。

注意力权重聚合示意图

Key 决定“关注哪个位置”,Value 决定“从该位置取出什么信息”。注意力权重是二者之间的桥梁,它不会直接复制某个 Value,而是形成按相关性混合后的结果。

矩阵计算与示例

设注意力权重矩阵为 A∈Rnq×nkA\in\mathbb{R}^{n_q\times n_k},Value 矩阵为 V∈Rnk×dvV\in\mathbb{R}^{n_k\times d_v},则聚合结果为:

O=AV,O∈Rnq×dvO=AV,\qquad O\in\mathbb{R}^{n_q\times d_v}

矩阵 AA 的每一行对应一个查询,矩阵 VV 的每一行对应一个键位置的 Value。内侧维度 nkn_k 必须一致,输出会保留查询数量和 Value 特征维度。

下面计算一组权重对三个二维 Value 的聚合结果:

python
def weighted_sum(weights, values):
    dimension = len(values[0])
    result = [0.0] * dimension

    # 每个权重控制对应 Value 对结果的贡献比例。
    for weight, value in zip(weights, values):
        for index in range(dimension):
            result[index] += weight * value[index]

    return result

def main():
    weights = [0.6, 0.3, 0.1]
    values = [
        [1.0, 0.0],
        [0.0, 2.0],
        [3.0, 1.0],
    ]

    context = weighted_sum(weights, values)
    print([round(number, 2) for number in context])

if __name__ == "__main__":
    main()

预期输出:

text
[0.9, 0.7]

第一维为 0.6×1+0.3×0+0.1×3=0.90.6\times1+0.3\times0+0.1\times3=0.9,第二维为 0.6×0+0.3×2+0.1×1=0.70.6\times0+0.3\times2+0.1\times1=0.7。结果不是任一原始 Value,而是由当前查询决定的上下文混合表示。

关键边界

  • 权重矩阵通常按行归一化,每一行独立描述一个查询的关注分布
  • 被遮蔽位置应在 Softmax 前加入掩码,使其最终权重接近 0
  • 聚合使用 Value,而不是再次使用 Key;Key 用于匹配,Value 用于承载内容
  • 所有 Value 必须具有相同的特征维度,否则无法组成矩阵并参与乘法

本课总结

  • 注意力输出是 Value 的加权和,权重来自当前查询与各 Key 的匹配结果
  • 矩阵形式 O=AVO=AV 同时完成所有查询位置的上下文聚合
  • 输出保留查询数量,并以 dvd_v 作为每个位置的特征维度

下一课预告

下一课将把单组注意力扩展为多头注意力,理解不同头如何在不同表示子空间中并行提取关系。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

注意力权重聚合

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通