高等数学 / 系统课时

用最小二乘完成线性回归

用最小二乘完成线性回归

线性回归可以看成一个“方程通常解不精确时,怎样找最接近解”的问题。本篇把监督数据写成设计矩阵,用最小二乘估计参数,再通过残差与矩阵秩判断拟合质量以及参数是否能被唯一识别。

学习目标

  • 把多条监督样本组织成设计矩阵与目标向量
  • 用最小二乘求回归参数,并理解残差的几何含义
  • 根据残差平方和与设计矩阵的秩判断模型是否可识别

把回归写成矩阵问题

设有 nn 条样本、pp 个待估参数。把每条样本的特征排成一行,可得到设计矩阵 X∈Rn×pX\in\mathbb{R}^{n\times p};把目标值组成向量 y∈Rny\in\mathbb{R}^n。线性模型写成

y≈Xβy\approx X\beta

其中 β\beta 是要估计的参数向量。若模型包含截距,可以在 XX 的第一列放置全 1。多数真实数据存在噪声,因此方程 Xβ=yX\beta=y 往往没有精确解,目标改为让误差尽量小:

β^=arg⁡min⁡β∥y−Xβ∥22\hat{\beta}=\arg\min_{\beta}\lVert y-X\beta\rVert_2^2

这里的残差向量是 r=y−Xβ^r=y-X\hat{\beta},残差平方和 ∥r∥22\lVert r\rVert_2^2 越小,说明样本在当前线性模型下拟合得越接近。

最小二乘把目标向量投影到设计矩阵列空间

最小二乘解满足 XTr=0X^Tr=0,也就是残差与 XX 的每一列正交。从几何上看,Xβ^X\hat{\beta} 正是 yy 在 XX 的列空间上的正交投影。这比单纯记住公式更重要,因为它解释了“最接近”究竟指什么。

求解参数时不要直接求逆

当 XX 满列秩时,正规方程给出

XTXβ^=XTyX^TX\hat{\beta}=X^Ty

形式上可写成 β^=(XTX)−1XTy\hat{\beta}=(X^TX)^{-1}X^Ty,但工程实现通常不显式计算逆矩阵。直接求逆会放大数值误差,而且当特征高度相关时,XTXX^TX 的条件数会进一步恶化。更稳妥的方法是使用 QR 分解、SVD,或直接调用经过数值处理的最小二乘求解器。

下面用 NumPy 对一元线性回归估计截距和斜率。设计矩阵第一列为常数 1,第二列为输入变量。

python
import numpy as np

def main():
    x = np.array([1., 2., 3., 4., 5.])
    y = np.array([2.1, 4.1, 6.2, 8.0, 10.1])

    # 第一列对应截距,第二列对应斜率。
    X = np.column_stack([np.ones_like(x), x])

    beta, _, rank, _ = np.linalg.lstsq(X, y, rcond=None)
    residual = y - X @ beta
    sse = float(residual @ residual)

    print("beta =", np.round(beta, 3))
    print("sse =", round(sse, 3))
    print("rank =", int(rank))
    print("X^T r =", np.round(X.T @ residual, 10))

if __name__ == "__main__":
    main()

预期输出

text
beta = [0.13 1.99]
sse = 0.019
rank = 2
X^T r = [0. 0.]

参数约为 y^=0.13+1.99x\hat{y}=0.13+1.99x。最后一行接近零,验证了残差与设计矩阵列空间正交。浮点计算中极小误差可能表现为接近 0 的数值,而不一定逐位等于 0。

用秩判断参数能否唯一识别

残差很小并不自动意味着参数可靠。若 XX 有 pp 列,但 rank⁡(X)<p\operatorname{rank}(X)<p,就存在列之间的线性依赖,此时不同参数向量可能产生完全相同的预测结果,参数不能被唯一识别。

例如同时加入“摄氏温度”和由它线性换算得到的“华氏温度”作为特征,两列携带的是同一维信息。此时即使预测误差很低,也无法把贡献唯一分配给两个系数。工程上应删除冗余特征、重新定义参数,或在明确需要时引入正则化。

本例中 XX 有 2 列且 rank = 2,因此在数值精度允许的范围内是满列秩,截距和斜率具有唯一的最小二乘解。判断一个线性回归是否“可用”,至少应同时查看残差规模和设计矩阵的秩,而不是只看拟合曲线是否贴近样本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用最小二乘完成线性回归

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通