机器学习与深度学习 / 系统课时
掌握矩阵基础运算
掌握矩阵基础运算
矩阵运算可以把多条样本的特征计算合并执行。本课通过 NumPy 完成矩阵加法、数乘、转置和矩阵乘法,学会根据维度判断运算是否合法,并通过实际计算理解逆矩阵的适用条件和数值风险。
学习目标
- 完成矩阵加法、数乘、转置和矩阵乘法
- 解释矩阵乘法的维度约束,并计算行与列的内积
- 理解逆矩阵的适用条件,使用
np.linalg.solve求解线性方程组
矩阵运算的用途
矩阵把大量样本的相同操作合并为一次计算。模型预测、特征变换和参数更新都可以表示为矩阵运算。
若特征矩阵 X 的形状为 (样本数, 特征数),权重向量 w 的形状为 (特征数,),则 X @ w 会为每条样本计算一个加权结果。
例如,X 的形状为 (100, 3),表示 100 条样本、每条样本有 3 个特征。使用形状为 (3,) 的权重向量计算 X @ w,会得到形状为 (100,) 的预测结果,每条样本对应一个数值。
NumPy 使用 @ 表示矩阵乘法,使用 * 表示逐元素乘法。两者的计算规则和结果形状可能完全不同,不能混用。
加法、数乘与转置
矩阵加法将对应位置的元素相加。在线性代数中,两个矩阵通常需要具有相同形状才能相加;NumPy 还支持满足广播规则的不同形状数组相加。
数乘是将矩阵中的每个元素乘以同一个标量。转置则交换矩阵的行与列,例如形状为 (2, 3) 的矩阵转置后形状为 (3, 2)。
在已安装 NumPy 的 Python 环境中运行以下代码:
import numpy as np
matrix = np.array([
[1, 2],
[3, 4],
])
# 加法和数乘都对元素逐个执行运算
print("矩阵加法:")
print(matrix + matrix)
print("数乘:")
print(matrix * 3)
# .T 交换行列,不会原地修改 matrix
print("转置:")
print(matrix.T)预期输出:
矩阵加法:
[[2 4]
[6 8]]
数乘:
[[ 3 6]
[ 9 12]]
转置:
[[1 3]
[2 4]]可以观察到,加法和数乘都没有改变矩阵形状,而转置交换了元素的行列位置。对于非方阵,转置还会改变形状;对于本例的 2 × 2 方阵,转置前后的形状相同。
矩阵乘法与维度约束
矩阵 A 的形状为 (m, n),矩阵 B 的形状必须为 (n, p),乘积 A @ B 的形状才是 (m, p)。也就是说,左矩阵的列数必须等于右矩阵的行数,结果保留外侧两个维度。
计算结果矩阵中的一个元素时,需要取左矩阵的一行与右矩阵的一列,将对应元素相乘后求和。这种计算称为行与列的内积。

下面用两条样本和一组权重验证这一规则:
import numpy as np
features = np.array([
[2.0, 3.0],
[4.0, 1.0],
])
weights = np.array([10.0, 5.0])
# 每条样本分别与同一权重向量求内积
predictions = features @ weights
print(predictions)预期输出:
[35. 45.]第一条样本的结果是 ,第二条样本的结果是 。
这里 features 的形状为 (2, 2),weights 的形状为 (2,),相乘后得到 (2,) 的一维数组。如果将权重改成形状为 (2, 1) 的二维列矩阵,结果则是 (2, 1)。
如果尝试将形状为 (2, 3) 的矩阵乘以 (2, 2) 的矩阵,内侧维度分别为 3 和 2,NumPy 会抛出 ValueError。此外,矩阵乘法一般不满足交换律,即使 A @ B 和 B @ A 都合法,结果通常也不相同。
逆矩阵不是通用解法
只有方阵且可逆时才存在普通逆矩阵。更准确地说,矩阵必须是满秩方阵,也就是行或列之间不存在使其秩不足的线性依赖关系。
对于可逆矩阵 A,它与逆矩阵相乘会得到单位矩阵。实际机器学习计算中,矩阵可能不可逆或接近奇异,直接求逆还会放大数值误差。
下面先验证逆矩阵,再用同一个系数矩阵求解线性方程组:
import numpy as np
matrix = np.array([
[2.0, 1.0],
[1.0, 2.0],
])
# 验证矩阵与逆矩阵的乘积接近单位矩阵
inverse = np.linalg.inv(matrix)
print(np.round(matrix @ inverse, 6))
# 直接求解 Ax=b,避免通过显式求逆来计算解
right_hand_side = np.array([3.0, 3.0])
solution = np.linalg.solve(matrix, right_hand_side)
print(solution)预期输出:
[[1. 0.]
[0. 1.]]
[1. 1.]第一部分验证了矩阵与其逆矩阵的乘积接近单位矩阵。第二部分求解的是 和 ,结果为 、。将解代回两个方程,左右两边均相等。
工程中求解具有唯一解的方阵线性方程组,通常优先使用 np.linalg.solve,而不是先求逆再相乘。前者避免显式构造逆矩阵,通常具有更好的计算效率和数值表现。
本课练习
- 构造一个
2 × 3矩阵和一个3 × 1矩阵,计算乘积并检查输出形状。再解释为什么2 × 3矩阵不能直接乘以2 × 2矩阵。 - 使用
np.linalg.solve求解方程组 、,并用矩阵乘法验证计算结果是否满足原方程。
完成练习后,应能在执行矩阵乘法前根据形状判断是否合法,在计算后核对结果维度,并在求解线性方程组时优先选择直接求解方法,而不是不加判断地求逆。