高等数学 / 系统课时
偏差与方差权衡
偏差与方差权衡
评价估计量不能只看是否无偏,还要看它在不同样本中是否稳定。本课将分解估计误差,说明偏差、方差与均方误差的关系,并解释为什么适度引入偏差有时反而能得到更好的估计结果。
学习目标
- 理解偏差与方差分别刻画什么误差
- 掌握均方误差的分解公式
- 能根据目标选择更合适的估计量
两类误差来自哪里
设参数为 ,估计量为 。偏差定义为
偏差描述估计结果的平均位置与真值之间的系统性偏离。偏差为零表示无偏,但不代表每次估计都接近真值。方差定义为
方差描述估计量在重复抽样中的波动程度。方差越大,说明同一种方法在不同样本上给出的结果越不稳定。
均方误差统一评价
均方误差定义为。
将误差拆分后可得
这个公式把“随机波动”和“系统偏离”放进同一尺度。比较两个估计量时,MSE 更小的估计量通常意味着总体误差更小,即使它并非完全无偏。
例如,估计量 A 无偏但方差为 ,则其 MSE 为 ;估计量 B 的偏差为 、方差为 ,则其 MSE 为 。此时 B 虽有偏,却具有更小的总体误差。

如何做出权衡
实际估计中,降低方差往往要付出一定偏差。例如,对极端样本结果进行收缩,可以减少估计值的大幅波动,但会让估计结果略微向某个中心靠拢。
这种取舍的关键不是追求“偏差必须为零”,而是控制总误差。样本较少、数据噪声较大时,稳定性通常更重要;样本量增大后,方差自然下降,此时偏差可能成为主要误差来源。
比较两个估计量时,应依次检查偏差是否随样本量变化、重复抽样中的波动大小,以及当前样本量下谁的 MSE 更低。如果任务重视长期校准,可单独约束偏差;如果更重视单次预测精度,MSE 往往更直接。
在统计建模中,过于灵活的方法常表现为低偏差、高方差;过于简单的方法则可能高偏差、低方差。选择估计量或模型,本质上是在数据规模、稳定性和拟合能力之间寻找平衡点。
按自己的节奏,确认真正理解。