大模型原理与训练 / 系统课时

张量形状与广播

张量形状与广播

Transformer 中的大多数错误不是公式错误,而是张量维度对不上。本课将建立批次、序列、特征和注意力头四类维度的统一视图,并通过可运行示例掌握 reshape、transpose 与广播的安全用法。

学习目标

  • 读懂 Transformer 常见张量形状及各维度含义
  • 掌握广播成立的条件和对齐方向
  • 能验证多头拆分、掩码扩展和逐元素运算的结果

先读懂四类核心维度

常见输入形状写作 [B, L, D]:B 是批次大小,L 是序列长度,D 是隐藏特征维度。例如 [2, 4, 8] 表示一次处理 2 个样本,每个样本有 4 个 token,每个 token 用 8 个数表示。

多头注意力会把特征维拆成头数 H 和单头维度 Dh,满足 D = H × Dh。因此 [B, L, D] 常被重排为 [B, H, L, Dh]。这里不仅改变形状,还要交换维度顺序,不能只做 reshape 后就默认含义正确。

Transformer 常见张量维度与多头拆分

广播规则的本质

广播允许不同形状的张量进行逐元素运算,而不必真的复制数据。判断时从最后一个维度向前对齐;每一对维度只有在数值相等、其中一个为 1,或其中一方不存在时才兼容。

例如 [2, 4, 8] 与 [8] 可以相加,因为 [8] 会被视为 [1, 1, 8],沿批次和序列维扩展。[2, 4, 8] 与 [4, 1] 也兼容,因为后者可视为 [1, 4, 1]。

运算形状 是否兼容 结果形状
[2, 4, 8] + [8] 是 [2, 4, 8]
[2, 4, 8] + [4, 1] 是 [2, 4, 8]
[2, 4, 8] + [2, 4] 否 无

最后一项失败,是因为从右向左比较时会出现 8 与 4 不相等,且都不是 1。

多头拆分的正确顺序

假设输入 x 的形状为 [B, L, D],头数为 H。应先把最后一维拆成 [H, Dh],得到 [B, L, H, Dh],再交换序列维和头维,得到 [B, H, L, Dh]。

合并时执行相反过程:先从 [B, H, L, Dh] 转为 [B, L, H, Dh],再把最后两维合并成 D。转置后张量在内存中可能不连续,因此某些框架需要先调用连续化操作再 reshape。

用 NumPy 验证形状与广播

下面的示例完成多头拆分,并把形状为 [L] 的序列偏置广播到 [B, H, L, Dh]。

python
import numpy as np

def main() -> None:
    batch_size, seq_len, hidden_size, num_heads = 2, 4, 8, 2
    head_dim = hidden_size // num_heads

    x = np.arange(batch_size * seq_len * hidden_size)
    x = x.reshape(batch_size, seq_len, hidden_size)

    # 先拆分特征维,再把注意力头移动到序列维之前
    heads = x.reshape(batch_size, seq_len, num_heads, head_dim)
    heads = heads.transpose(0, 2, 1, 3)

    # [L] 改成 [1, 1, L, 1],只沿序列位置施加偏置
    position_bias = np.array([0, 10, 20, 30]).reshape(1, 1, seq_len, 1)
    result = heads + position_bias

    print("x:", x.shape)
    print("heads:", heads.shape)
    print("bias:", position_bias.shape)
    print("result:", result.shape)
    print(result[0, 0, :, 0].tolist())

if __name__ == "__main__":
    main()

预期输出:

text
x: (2, 4, 8)
heads: (2, 2, 4, 4)
bias: (1, 1, 4, 1)
result: (2, 2, 4, 4)
[0, 18, 36, 54]

输出中的 [0, 18, 36, 54] 表明偏置按序列位置广播:原始值分别为 0、8、16、24,再加上 0、10、20、30。

常见错误与检查方法

最危险的错误是“元素总数相同,所以 reshape 一定正确”。reshape 只保证元素数量不变,不保证维度语义正确;如果需要交换轴,必须显式 transpose。

调试时应在关键步骤记录形状,并为每个维度写出语义,例如 [batch, head, query, key]。广播前主动插入长度为 1 的维度,比依赖隐式猜测更清晰,也更不容易把偏置加到错误的轴上。

本课总结

  • [B, L, D] 分别表示批次、序列和特征,多头形式常为 [B, H, L, Dh]
  • 广播从最后一维向前比较,要求相等、其中一维为 1,或某一维不存在
  • reshape 改变分组方式,transpose 改变轴顺序,两者不能混用

下一课预告

下一课将把这些形状规则用于注意力计算,跟踪查询、键、值以及注意力分数在各步骤中的维度变化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

张量形状与广播

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通