最小二乘估计解决的是如何根据一组样本点确定回归直线。本课将从残差平方和出发,得到截距与斜率的估计公式,并通过一个完整算例验证拟合结果及其关键性质。
对于样本点 ,设候选回归直线为:
第 个样本的残差为 。最小二乘法选择 和 ,使残差平方和达到最小:
直接累加残差会出现正负抵消,因此不能准确衡量总体偏差。平方处理既消除了符号,又对较大的偏差给予更高惩罚,同时使目标函数可以通过求导得到解析解。

对残差平方和分别关于 和 求偏导并令其为零,可以得到最小二乘估计。斜率估计为:
截距估计为:
斜率公式的分子衡量 与 的共同变化,分母衡量 自身的离散程度。分子为正时斜率通常为正,分子为负时斜率通常为负。将截距公式代入回归方程可知:
因此,采用最小二乘法得到的样本回归直线必定经过样本中心点 。
考虑三个样本点 、 和 。首先计算样本均值:
斜率公式中的分子和分母分别为:
因此:
最终得到样本回归直线:
三个拟合值依次为 、 和 ,对应残差为 、 和 。残差平方和为:
可以用两个性质快速检查结果。第一,残差之和应为零;第二,残差与解释变量乘积之和也应为零。本例满足:
若所有 都相同,则斜率公式的分母为零,无法估计线性斜率。最小二乘法还会对离群点较敏感,因为较大的残差经过平方后会显著影响拟合结果。