高等数学 / 系统课时

最小二乘估计

最小二乘估计

最小二乘估计解决的是如何根据一组样本点确定回归直线。本课将从残差平方和出发,得到截距与斜率的估计公式,并通过一个完整算例验证拟合结果及其关键性质。

学习目标

  • 说明最小二乘准则为什么使用残差平方和
  • 使用公式计算回归直线的截距和斜率
  • 检查估计结果的基本性质与适用边界

最小二乘准则

对于样本点 (xi,yi)(x_i,y_i),设候选回归直线为:

y^i=b0+b1xi\hat{y}_i=b_0+b_1x_i

第 ii 个样本的残差为 ei=yi−y^ie_i=y_i-\hat{y}_i。最小二乘法选择 b0b_0 和 b1b_1,使残差平方和达到最小:

SSE=∑i=1n[yi−(b0+b1xi)]2SSE=\sum_{i=1}^{n}\left[y_i-(b_0+b_1x_i)\right]^2

直接累加残差会出现正负抵消,因此不能准确衡量总体偏差。平方处理既消除了符号,又对较大的偏差给予更高惩罚,同时使目标函数可以通过求导得到解析解。

最小二乘法中的残差与残差平方和

截距和斜率的估计公式

对残差平方和分别关于 b0b_0 和 b1b_1 求偏导并令其为零,可以得到最小二乘估计。斜率估计为:

b1=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2b_1=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2}

截距估计为:

b0=yˉ−b1xˉb_0=\bar{y}-b_1\bar{x}

斜率公式的分子衡量 xx 与 yy 的共同变化,分母衡量 xx 自身的离散程度。分子为正时斜率通常为正,分子为负时斜率通常为负。将截距公式代入回归方程可知:

yˉ=b0+b1xˉ\bar{y}=b_0+b_1\bar{x}

因此,采用最小二乘法得到的样本回归直线必定经过样本中心点 (xˉ,yˉ)(\bar{x},\bar{y})。

完整计算与结果验证

考虑三个样本点 (1,2)(1,2)、(2,3)(2,3) 和 (3,5)(3,5)。首先计算样本均值:

xˉ=2,yˉ=103\bar{x}=2,\qquad \bar{y}=\frac{10}{3}

斜率公式中的分子和分母分别为:

∑(xi−xˉ)(yi−yˉ)=3\sum(x_i-\bar{x})(y_i-\bar{y})=3
∑(xi−xˉ)2=2\sum(x_i-\bar{x})^2=2

因此:

b1=32,b0=103−32×2=13b_1=\frac{3}{2},\qquad b_0=\frac{10}{3}-\frac{3}{2}\times2=\frac{1}{3}

最终得到样本回归直线:

y^=13+32x\hat{y}=\frac{1}{3}+\frac{3}{2}x

三个拟合值依次为 11/611/6、10/310/3 和 29/629/6,对应残差为 1/61/6、−1/3-1/3 和 1/61/6。残差平方和为:

SSE=(16)2+(−13)2+(16)2=16SSE=\left(\frac{1}{6}\right)^2+\left(-\frac{1}{3}\right)^2+\left(\frac{1}{6}\right)^2=\frac{1}{6}

可以用两个性质快速检查结果。第一,残差之和应为零;第二,残差与解释变量乘积之和也应为零。本例满足:

∑ei=0,∑xiei=0\sum e_i=0,\qquad \sum x_ie_i=0

若所有 xix_i 都相同,则斜率公式的分母为零,无法估计线性斜率。最小二乘法还会对离群点较敏感,因为较大的残差经过平方后会显著影响拟合结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

最小二乘估计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通