机器学习与深度学习 / 系统课时

掌握矩阵基础运算

掌握矩阵基础运算

矩阵运算可以把多条样本的特征计算合并执行。本课通过 NumPy 完成矩阵加法、数乘、转置和矩阵乘法,学会根据维度判断运算是否合法,并通过实际计算理解逆矩阵的适用条件和数值风险。

学习目标

  • 完成矩阵加法、数乘、转置和矩阵乘法
  • 解释矩阵乘法的维度约束,并计算行与列的内积
  • 理解逆矩阵的适用条件,使用 np.linalg.solve 求解线性方程组

矩阵运算的用途

矩阵把大量样本的相同操作合并为一次计算。模型预测、特征变换和参数更新都可以表示为矩阵运算。

若特征矩阵 X 的形状为 (样本数, 特征数),权重向量 w 的形状为 (特征数,),则 X @ w 会为每条样本计算一个加权结果。

例如,X 的形状为 (100, 3),表示 100 条样本、每条样本有 3 个特征。使用形状为 (3,) 的权重向量计算 X @ w,会得到形状为 (100,) 的预测结果,每条样本对应一个数值。

NumPy 使用 @ 表示矩阵乘法,使用 * 表示逐元素乘法。两者的计算规则和结果形状可能完全不同,不能混用。

加法、数乘与转置

矩阵加法将对应位置的元素相加。在线性代数中,两个矩阵通常需要具有相同形状才能相加;NumPy 还支持满足广播规则的不同形状数组相加。

数乘是将矩阵中的每个元素乘以同一个标量。转置则交换矩阵的行与列,例如形状为 (2, 3) 的矩阵转置后形状为 (3, 2)。

在已安装 NumPy 的 Python 环境中运行以下代码:

python
import numpy as np

matrix = np.array([
    [1, 2],
    [3, 4],
])

# 加法和数乘都对元素逐个执行运算
print("矩阵加法:")
print(matrix + matrix)

print("数乘:")
print(matrix * 3)

# .T 交换行列,不会原地修改 matrix
print("转置:")
print(matrix.T)

预期输出:

text
矩阵加法:
[[2 4]
 [6 8]]
数乘:
[[ 3  6]
 [ 9 12]]
转置:
[[1 3]
 [2 4]]

可以观察到,加法和数乘都没有改变矩阵形状,而转置交换了元素的行列位置。对于非方阵,转置还会改变形状;对于本例的 2 × 2 方阵,转置前后的形状相同。

矩阵乘法与维度约束

矩阵 A 的形状为 (m, n),矩阵 B 的形状必须为 (n, p),乘积 A @ B 的形状才是 (m, p)。也就是说,左矩阵的列数必须等于右矩阵的行数,结果保留外侧两个维度。

计算结果矩阵中的一个元素时,需要取左矩阵的一行与右矩阵的一列,将对应元素相乘后求和。这种计算称为行与列的内积。

矩阵乘法的维度匹配与行列内积示意图

下面用两条样本和一组权重验证这一规则:

python
import numpy as np

features = np.array([
    [2.0, 3.0],
    [4.0, 1.0],
])
weights = np.array([10.0, 5.0])

# 每条样本分别与同一权重向量求内积
predictions = features @ weights
print(predictions)

预期输出:

text
[35. 45.]

第一条样本的结果是 2×10+3×5=352\times10+3\times5=35,第二条样本的结果是 4×10+1×5=454\times10+1\times5=45。

这里 features 的形状为 (2, 2),weights 的形状为 (2,),相乘后得到 (2,) 的一维数组。如果将权重改成形状为 (2, 1) 的二维列矩阵,结果则是 (2, 1)。

如果尝试将形状为 (2, 3) 的矩阵乘以 (2, 2) 的矩阵,内侧维度分别为 3 和 2,NumPy 会抛出 ValueError。此外,矩阵乘法一般不满足交换律,即使 A @ B 和 B @ A 都合法,结果通常也不相同。

逆矩阵不是通用解法

只有方阵且可逆时才存在普通逆矩阵。更准确地说,矩阵必须是满秩方阵,也就是行或列之间不存在使其秩不足的线性依赖关系。

对于可逆矩阵 A,它与逆矩阵相乘会得到单位矩阵。实际机器学习计算中,矩阵可能不可逆或接近奇异,直接求逆还会放大数值误差。

下面先验证逆矩阵,再用同一个系数矩阵求解线性方程组:

python
import numpy as np

matrix = np.array([
    [2.0, 1.0],
    [1.0, 2.0],
])

# 验证矩阵与逆矩阵的乘积接近单位矩阵
inverse = np.linalg.inv(matrix)
print(np.round(matrix @ inverse, 6))

# 直接求解 Ax=b,避免通过显式求逆来计算解
right_hand_side = np.array([3.0, 3.0])
solution = np.linalg.solve(matrix, right_hand_side)
print(solution)

预期输出:

text
[[1. 0.]
 [0. 1.]]
[1. 1.]

第一部分验证了矩阵与其逆矩阵的乘积接近单位矩阵。第二部分求解的是 2x+y=32x+y=3 和 x+2y=3x+2y=3,结果为 x=1x=1、y=1y=1。将解代回两个方程,左右两边均相等。

工程中求解具有唯一解的方阵线性方程组,通常优先使用 np.linalg.solve,而不是先求逆再相乘。前者避免显式构造逆矩阵,通常具有更好的计算效率和数值表现。

本课练习

  1. 构造一个 2 × 3 矩阵和一个 3 × 1 矩阵,计算乘积并检查输出形状。再解释为什么 2 × 3 矩阵不能直接乘以 2 × 2 矩阵。
  2. 使用 np.linalg.solve 求解方程组 2x+y=52x+y=5、x+2y=4x+2y=4,并用矩阵乘法验证计算结果是否满足原方程。

完成练习后,应能在执行矩阵乘法前根据形状判断是否合法,在计算后核对结果维度,并在求解线性方程组时优先选择直接求解方法,而不是不加判断地求逆。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

掌握矩阵基础运算

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通