当方程数量多于未知量时,观测误差常让 根本没有精确解。最小二乘不强求每个方程都成立,而是寻找使总体残差平方和最小的 ,把“无解”问题转成可计算的最佳近似。
设 ,且 。这表示方程数量多于未知量。若 不在 的列空间中,就不存在任何 使 完全成立。
最小二乘改为求解
记残差为 。几何上, 必须落在 的列空间中,因此最优的 就是 在该列空间上的正交投影;剩下的残差 与整个列空间正交。

最优点处的残差必须与 的每一列都正交,因此
移项后得到正规方程
如果 的列线性无关,那么 可逆,最小二乘解唯一:
这条公式适合推导和手算,但实际数值计算通常不直接求逆矩阵。更重要的是,形成 会放大条件数带来的误差,后续通常改用 QR 分解或 SVD。
用直线 拟合三个观测点 、、。对应矩阵为
先计算
于是正规方程为
解得
所以拟合直线是 。它不会穿过全部三个点,但会让三个纵向残差的平方和达到最小。
代回得到预测值
因此残差为
最关键的验证不是“残差是否为零”,而是检查正交条件:
这说明残差已经不可能通过沿着 的列空间继续移动而缩短,当前解就是最小二乘解。残差平方和为 ,它量化了这组数据无法被一条直线完全解释的程度。
正规方程计算简单,但数值稳定性并不总是理想。若 的列接近线性相关, 会比原矩阵更病态;在 2-范数下,满列秩时有 。因此规模较大、数据噪声较强或矩阵条件较差时,优先考虑 QR 分解;若还需要处理秩亏或极端病态问题,则通常进一步使用 SVD。