高等数学 / 系统课时

偏差与方差权衡

偏差与方差权衡

评价估计量不能只看是否无偏,还要看它在不同样本中是否稳定。本课将分解估计误差,说明偏差、方差与均方误差的关系,并解释为什么适度引入偏差有时反而能得到更好的估计结果。

学习目标

  • 理解偏差与方差分别刻画什么误差
  • 掌握均方误差的分解公式
  • 能根据目标选择更合适的估计量

两类误差来自哪里

设参数为 θ\theta,估计量为 θ^\hat{\theta}。偏差定义为

Bias⁡(θ^)=E(θ^)−θ\operatorname{Bias}(\hat{\theta})=E(\hat{\theta})-\theta

偏差描述估计结果的平均位置与真值之间的系统性偏离。偏差为零表示无偏,但不代表每次估计都接近真值。方差定义为

Var⁡(θ^)=E[(θ^−E(θ^))2]\operatorname{Var}(\hat{\theta})=E\left[\left(\hat{\theta}-E(\hat{\theta})\right)^2\right]

方差描述估计量在重复抽样中的波动程度。方差越大,说明同一种方法在不同样本上给出的结果越不稳定。

均方误差统一评价

均方误差定义为。

MSE⁡(θ^)=E[(θ^−θ)2]\operatorname{MSE}(\hat{\theta})=E\left[\left(\hat{\theta}-\theta\right)^2\right]

将误差拆分后可得

MSE⁡(θ^)=Var⁡(θ^)+Bias⁡(θ^)2\operatorname{MSE}(\hat{\theta})=\operatorname{Var}(\hat{\theta})+\operatorname{Bias}(\hat{\theta})^2

这个公式把“随机波动”和“系统偏离”放进同一尺度。比较两个估计量时,MSE 更小的估计量通常意味着总体误差更小,即使它并非完全无偏。

例如,估计量 A 无偏但方差为 99,则其 MSE 为 99;估计量 B 的偏差为 11、方差为 44,则其 MSE 为 4+12=54+1^2=5。此时 B 虽有偏,却具有更小的总体误差。

偏差与方差对估计误差的共同影响

如何做出权衡

实际估计中,降低方差往往要付出一定偏差。例如,对极端样本结果进行收缩,可以减少估计值的大幅波动,但会让估计结果略微向某个中心靠拢。

这种取舍的关键不是追求“偏差必须为零”,而是控制总误差。样本较少、数据噪声较大时,稳定性通常更重要;样本量增大后,方差自然下降,此时偏差可能成为主要误差来源。

比较两个估计量时,应依次检查偏差是否随样本量变化、重复抽样中的波动大小,以及当前样本量下谁的 MSE 更低。如果任务重视长期校准,可单独约束偏差;如果更重视单次预测精度,MSE 往往更直接。

在统计建模中,过于灵活的方法常表现为低偏差、高方差;过于简单的方法则可能高偏差、低方差。选择估计量或模型,本质上是在数据规模、稳定性和拟合能力之间寻找平衡点。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

偏差与方差权衡

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通