高等数学 / 系统课时
用最小二乘完成线性回归
用最小二乘完成线性回归
线性回归可以看成一个“方程通常解不精确时,怎样找最接近解”的问题。本篇把监督数据写成设计矩阵,用最小二乘估计参数,再通过残差与矩阵秩判断拟合质量以及参数是否能被唯一识别。
学习目标
- 把多条监督样本组织成设计矩阵与目标向量
- 用最小二乘求回归参数,并理解残差的几何含义
- 根据残差平方和与设计矩阵的秩判断模型是否可识别
把回归写成矩阵问题
设有 条样本、 个待估参数。把每条样本的特征排成一行,可得到设计矩阵 ;把目标值组成向量 。线性模型写成
其中 是要估计的参数向量。若模型包含截距,可以在 的第一列放置全 1。多数真实数据存在噪声,因此方程 往往没有精确解,目标改为让误差尽量小:
这里的残差向量是 ,残差平方和 越小,说明样本在当前线性模型下拟合得越接近。

最小二乘解满足 ,也就是残差与 的每一列正交。从几何上看, 正是 在 的列空间上的正交投影。这比单纯记住公式更重要,因为它解释了“最接近”究竟指什么。
求解参数时不要直接求逆
当 满列秩时,正规方程给出
形式上可写成 ,但工程实现通常不显式计算逆矩阵。直接求逆会放大数值误差,而且当特征高度相关时, 的条件数会进一步恶化。更稳妥的方法是使用 QR 分解、SVD,或直接调用经过数值处理的最小二乘求解器。
下面用 NumPy 对一元线性回归估计截距和斜率。设计矩阵第一列为常数 1,第二列为输入变量。
import numpy as np
def main():
x = np.array([1., 2., 3., 4., 5.])
y = np.array([2.1, 4.1, 6.2, 8.0, 10.1])
# 第一列对应截距,第二列对应斜率。
X = np.column_stack([np.ones_like(x), x])
beta, _, rank, _ = np.linalg.lstsq(X, y, rcond=None)
residual = y - X @ beta
sse = float(residual @ residual)
print("beta =", np.round(beta, 3))
print("sse =", round(sse, 3))
print("rank =", int(rank))
print("X^T r =", np.round(X.T @ residual, 10))
if __name__ == "__main__":
main()预期输出
beta = [0.13 1.99]
sse = 0.019
rank = 2
X^T r = [0. 0.]参数约为 。最后一行接近零,验证了残差与设计矩阵列空间正交。浮点计算中极小误差可能表现为接近 0 的数值,而不一定逐位等于 0。
用秩判断参数能否唯一识别
残差很小并不自动意味着参数可靠。若 有 列,但 ,就存在列之间的线性依赖,此时不同参数向量可能产生完全相同的预测结果,参数不能被唯一识别。
例如同时加入“摄氏温度”和由它线性换算得到的“华氏温度”作为特征,两列携带的是同一维信息。此时即使预测误差很低,也无法把贡献唯一分配给两个系数。工程上应删除冗余特征、重新定义参数,或在明确需要时引入正则化。
本例中 有 2 列且 rank = 2,因此在数值精度允许的范围内是满列秩,截距和斜率具有唯一的最小二乘解。判断一个线性回归是否“可用”,至少应同时查看残差规模和设计矩阵的秩,而不是只看拟合曲线是否贴近样本。