机器学习与深度学习 / 系统课时
掌握矩阵运算
掌握矩阵运算
神经网络中的线性层、本批次偏置相加和权重变换,都建立在矩阵运算上。本篇用具体尺寸和数值说明加法、矩阵乘法、转置与广播,并用 TensorFlow 一次验证这些运算的结果和形状。
学习目标
- 区分逐元素加法与矩阵乘法,并能检查尺寸是否兼容。
- 理解转置如何交换矩阵轴,以及它为什么会改变可乘条件。
- 理解 TensorFlow 广播规则,并能判断偏置能否自动扩展。
加法要求对应位置兼容
两个同形状矩阵相加时,对应位置直接相加。例如下面两个 2×3 矩阵相加,输出仍然是 2×3:
如果没有广播规则参与,(2,3) 与 (2,2) 不能逐元素相加,因为第二个轴分别是 3 和 2。神经网络里激活值与同形状残差相加,就是这种逐元素运算,而不是矩阵乘法。
矩阵乘法只检查相邻内维
设 的形状为 (2,3), 的形状为 (3,2),则 合法,因为中间两个尺寸都是 3,结果取外侧尺寸 (2,2)。一般地, 的输出形状是 。
取 ,,第一个输出元素为 。完整结果为 [[22,28],[49,64]]。

转置交换两个矩阵轴
二维矩阵转置就是交换行和列。一个 (2,3) 矩阵转置后变成 (3,2),原来的第 1 行会成为第 1 列。这个操作经常用于把权重矩阵调整到满足矩阵乘法的尺寸。
例如输入 X 为 (32,128),权重 W 为 (64,128) 时,X@W 不合法;对 W 转置后得到 (128,64),于是 (32,128)@(128,64) 可以得到 (32,64)。这类尺寸推导应在写代码前先完成。
广播让偏置沿批次轴扩展
神经网络的偏置常写成一个向量。若激活矩阵形状是 (2,3),偏置形状是 (3,),TensorFlow 会从最右侧轴开始比较:3 与 3 相同,而偏置缺少的批次轴可视为 1,因此它可以扩展到 (2,3)。
可以把 (3,) 的偏置 [0.5,1.0,1.5] 理解为对每一行都加同一组数。广播只是在运算语义上扩展,并不要求你先手工复制出两行偏置。
用 TensorFlow 验证四种运算
下面的可运行示例同时检查逐元素加法、矩阵乘法、转置和广播。重点观察输出值以及每一步的 shape,这些检查方式可以直接用于定位神经网络中的尺寸错误。
import tensorflow as tf
A = tf.constant([[1.0, 2.0, 3.0],
[4.0, 5.0, 6.0]])
B = tf.constant([[1.0, 2.0],
[3.0, 4.0],
[5.0, 6.0]])
bias = tf.constant([0.5, 1.0, 1.5])
added = A + tf.constant([[10.0, 20.0, 30.0],
[40.0, 50.0, 60.0]])
product = tf.matmul(A, B)
transposed = tf.transpose(A)
biased = A + bias
print("added:", added.numpy().tolist())
print("product:", product.numpy().tolist(), product.shape)
print("transpose shape:", transposed.shape)
print("biased:", biased.numpy().tolist())预期输出
added: [[11.0, 22.0, 33.0], [44.0, 55.0, 66.0]]
product: [[22.0, 28.0], [49.0, 64.0]] (2, 2)
transpose shape: (3, 2)
biased: [[1.5, 3.0, 4.5], [4.5, 6.0, 7.5]]遇到 Matrix size-incompatible 一类错误时,先写出参与运算张量的完整 shape,再按 (m,n)@(n,p) 检查内维;遇到加法尺寸错误,则从最右侧向左检查对应轴是否相等或其中一个是否为 1。