机器学习与深度学习 / 系统课时

掌握矩阵运算

掌握矩阵运算

神经网络中的线性层、本批次偏置相加和权重变换,都建立在矩阵运算上。本篇用具体尺寸和数值说明加法、矩阵乘法、转置与广播,并用 TensorFlow 一次验证这些运算的结果和形状。

学习目标

  • 区分逐元素加法与矩阵乘法,并能检查尺寸是否兼容。
  • 理解转置如何交换矩阵轴,以及它为什么会改变可乘条件。
  • 理解 TensorFlow 广播规则,并能判断偏置能否自动扩展。

加法要求对应位置兼容

两个同形状矩阵相加时,对应位置直接相加。例如下面两个 2×3 矩阵相加,输出仍然是 2×3:

[123456]+[102030405060]=[112233445566]\begin{bmatrix}1&2&3\\4&5&6\end{bmatrix}+\begin{bmatrix}10&20&30\\40&50&60\end{bmatrix}=\begin{bmatrix}11&22&33\\44&55&66\end{bmatrix}

如果没有广播规则参与,(2,3) 与 (2,2) 不能逐元素相加,因为第二个轴分别是 3 和 2。神经网络里激活值与同形状残差相加,就是这种逐元素运算,而不是矩阵乘法。

矩阵乘法只检查相邻内维

设 AA 的形状为 (2,3),BB 的形状为 (3,2),则 A@BA@B 合法,因为中间两个尺寸都是 3,结果取外侧尺寸 (2,2)。一般地,(m,n)@(n,p)(m,n)@(n,p) 的输出形状是 (m,p)(m,p)。

取 A=[[1,2,3],[4,5,6]]A=[[1,2,3],[4,5,6]],B=[[1,2],[3,4],[5,6]]B=[[1,2],[3,4],[5,6]],第一个输出元素为 1×1+2×3+3×5=221\times1+2\times3+3\times5=22。完整结果为 [[22,28],[49,64]]。

矩阵乘法、转置与广播的形状变化关系

转置交换两个矩阵轴

二维矩阵转置就是交换行和列。一个 (2,3) 矩阵转置后变成 (3,2),原来的第 1 行会成为第 1 列。这个操作经常用于把权重矩阵调整到满足矩阵乘法的尺寸。

例如输入 X 为 (32,128),权重 W 为 (64,128) 时,X@W 不合法;对 W 转置后得到 (128,64),于是 (32,128)@(128,64) 可以得到 (32,64)。这类尺寸推导应在写代码前先完成。

广播让偏置沿批次轴扩展

神经网络的偏置常写成一个向量。若激活矩阵形状是 (2,3),偏置形状是 (3,),TensorFlow 会从最右侧轴开始比较:3 与 3 相同,而偏置缺少的批次轴可视为 1,因此它可以扩展到 (2,3)。

可以把 (3,) 的偏置 [0.5,1.0,1.5] 理解为对每一行都加同一组数。广播只是在运算语义上扩展,并不要求你先手工复制出两行偏置。

用 TensorFlow 验证四种运算

下面的可运行示例同时检查逐元素加法、矩阵乘法、转置和广播。重点观察输出值以及每一步的 shape,这些检查方式可以直接用于定位神经网络中的尺寸错误。

python
import tensorflow as tf

A = tf.constant([[1.0, 2.0, 3.0],
                 [4.0, 5.0, 6.0]])
B = tf.constant([[1.0, 2.0],
                 [3.0, 4.0],
                 [5.0, 6.0]])
bias = tf.constant([0.5, 1.0, 1.5])

added = A + tf.constant([[10.0, 20.0, 30.0],
                         [40.0, 50.0, 60.0]])
product = tf.matmul(A, B)
transposed = tf.transpose(A)
biased = A + bias

print("added:", added.numpy().tolist())
print("product:", product.numpy().tolist(), product.shape)
print("transpose shape:", transposed.shape)
print("biased:", biased.numpy().tolist())

预期输出

text
added: [[11.0, 22.0, 33.0], [44.0, 55.0, 66.0]]
product: [[22.0, 28.0], [49.0, 64.0]] (2, 2)
transpose shape: (3, 2)
biased: [[1.5, 3.0, 4.5], [4.5, 6.0, 7.5]]

遇到 Matrix size-incompatible 一类错误时,先写出参与运算张量的完整 shape,再按 (m,n)@(n,p) 检查内维;遇到加法尺寸错误,则从最右侧向左检查对应轴是否相等或其中一个是否为 1。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

掌握矩阵运算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通