机器学习与深度学习 / 系统课时
注意力机制
注意力机制
注意力机制解决“当前查询应该从哪些信息中取多少内容”的问题。本课将从查询、键、值出发,完成缩放点积注意力的计算,并用掩码排除填充位置,最终得到可验证的上下文表示。
学习目标
- 说清查询、键、值在注意力计算中的职责
- 掌握注意力分数、权重和加权输出的形状变化
- 理解填充掩码与因果掩码为什么在 Softmax 前生效
查询、键和值如何协作
查询 Query 表示“正在寻找什么”,键 Key 表示“每条信息可用什么特征被匹配”,值 Value 则保存真正需要汇总的内容。查询与键先计算相似度,得到每个值应被关注的程度,再按权重对值做加权求和。
在序列任务中,一个查询通常对应当前位置,一个键和值对应一个可被读取的位置。查询长度可以与键值长度不同,因此注意力既能用于同一序列内部的信息交互,也能用于两个序列之间的信息检索。

缩放点积注意力
缩放点积注意力可写为:
其中, 生成查询与所有键之间的分数矩阵,除以 用于避免维度较大时点积数值过大,使 Softmax 不至于过早饱和。 是可选掩码,被禁止的位置通常加入负无穷,经过 Softmax 后权重变为 0。
| 张量 | 典型形状 | 含义 |
|---|---|---|
| 每个查询的位置表示 | ||
| 可匹配位置的键 | ||
| 被加权汇总的内容 | ||
| 权重 | 每个查询对每个键的关注比例 | |
| 输出 | 汇总后的上下文表示 |
用 PyTorch 完成一次计算
下面的示例使用两个查询、三个键和值。第三个键模拟填充位置,通过布尔掩码被完全排除。示例不依赖随机参数,可直接运行并核对权重。
python
import math
import torch
def scaled_dot_product_attention(query, key, value, mask=None):
scores = query @ key.transpose(-2, -1) / math.sqrt(query.size(-1))
if mask is not None:
# 被屏蔽位置在 Softmax 前设为负无穷,最终权重变为 0
scores = scores.masked_fill(mask, float("-inf"))
weights = torch.softmax(scores, dim=-1)
output = weights @ value
return weights, output
def main():
torch.set_printoptions(precision=4, sci_mode=False)
query = torch.tensor([[[1.0, 0.0], [0.0, 1.0]]])
key = torch.tensor([[[1.0, 0.0], [1.0, 1.0], [0.0, 1.0]]])
value = torch.tensor([[[10.0, 0.0], [0.0, 10.0], [5.0, 5.0]]])
# 形状 [1, 1, 3] 会广播到两个查询
mask = torch.tensor([[[False, False, True]]])
weights, output = scaled_dot_product_attention(query, key, value, mask)
print("weights =")
print(weights)
print("output =")
print(output)
if __name__ == "__main__":
main()预期输出:
text
weights =
tensor([[[0.5000, 0.5000, 0.0000],
[0.3302, 0.6698, 0.0000]]])
output =
tensor([[[5.0000, 5.0000],
[3.3024, 6.6976]]])每一行权重之和为 1。被屏蔽的第三个位置权重恒为 0,因此它对应的值不会参与输出;第一个查询对前两个键得分相同,所以输出正好是两个值的平均结果。
掩码的两种常见用途
填充掩码用于忽略批处理中补齐长度的占位符,通常对所有查询屏蔽相同的键位置。因果掩码用于自回归生成,使位置 只能读取当前位置及之前的信息,防止训练时提前看到未来 token。
掩码必须在 Softmax 前应用。若先计算 Softmax 再把某些权重改为 0,剩余权重之和会小于 1;除非再次归一化,否则输出不再是规范的加权平均。
检查注意力实现时,优先确认掩码形状能否广播到分数矩阵,并验证被屏蔽位置的权重是否严格为 0。
按自己的节奏,确认真正理解。