高等数学 / 系统课时

估计量的有效性

估计量的有效性

当多个估计量都能无偏地估计同一参数时,仅凭“平均不偏”还无法决定选哪一个。本课将用方差比较它们的波动大小,并通过两个总体均值估计量说明有效性和相对效率的计算方法。

学习目标

  • 能说明为什么有效性通常在无偏估计量之间比较
  • 能根据方差判断两个估计量谁更有效
  • 能用均方误差理解有效性指标的适用边界

有效性比较什么

设 T1T_1 和 T2T_2 都是参数 θ\theta 的无偏估计量。如果对参数空间中的所有 θ\theta 都有:

Var⁡θ(T1)≤Var⁡θ(T2)\operatorname{Var}_{\theta}(T_1)\leq\operatorname{Var}_{\theta}(T_2)

并且至少对一个参数值严格小于,就称 T1T_1 比 T2T_2 更有效。方差越小,表示重复抽样得到的估计值越集中,结果通常越稳定。

比较前必须确认三个条件:估计的是同一个参数、使用的是同一统计模型、两个估计量都满足无偏性。若方差大小会随参数变化并发生交叉,就不能直接断言其中一个在所有情况下都更有效。

主例:两个总体均值估计量

设 X1,X2,X3,X4X_1,X_2,X_3,X_4 相互独立,来自均值为 μ\mu、方差为 σ2\sigma^2 的总体。考虑两个估计量:

T1=X1+X2+X3+X44,T2=X1+X22T_1=\frac{X_1+X_2+X_3+X_4}{4},\qquad T_2=\frac{X_1+X_2}{2}

两者的期望分别为:

E⁡(T1)=μ,E⁡(T2)=μ\operatorname{E}(T_1)=\mu,\qquad \operatorname{E}(T_2)=\mu

所以它们都是总体均值 μ\mu 的无偏估计量。利用独立随机变量方差可加的性质:

Var⁡(T1)=σ24,Var⁡(T2)=σ22\operatorname{Var}(T_1)=\frac{\sigma^2}{4},\qquad \operatorname{Var}(T_2)=\frac{\sigma^2}{2}

比较结果如下:

估计量 使用的样本 期望 方差
T1T_1 4 个 μ\mu σ2/4\sigma^2/4
T2T_2 2 个 μ\mu σ2/2\sigma^2/2

由于 σ2/4<σ2/2\sigma^2/4<\sigma^2/2,因此 T1T_1 比 T2T_2 更有效。它利用了全部四个观测值,所以重复抽样时波动更小。

相对效率如何表示

可以用方差之比量化两个无偏估计量的效率差异。定义 T1T_1 相对于 T2T_2 的相对效率为:

e(T1,T2)=Var⁡(T2)Var⁡(T1)e(T_1,T_2)=\frac{\operatorname{Var}(T_2)}{\operatorname{Var}(T_1)}

在主例中:

e(T1,T2)=σ2/2σ2/4=2e(T_1,T_2)=\frac{\sigma^2/2}{\sigma^2/4}=2

这表示按该定义,T1T_1 的相对效率是 T2T_2 的 2 倍。使用相对效率时要先说明比值方向,因为不同教材可能采用相反的分子与分母顺序。

为什么方差能代表优劣

估计量的均方误差定义为:

MSE⁡(T)=E⁡[(T−θ)2]=Var⁡(T)+[Bias⁡(T)]2\operatorname{MSE}(T)=\operatorname{E}[(T-\theta)^2] =\operatorname{Var}(T)+[\operatorname{Bias}(T)]^2

当 TT 无偏时,偏差项为零,因此 MSE⁡(T)=Var⁡(T)\operatorname{MSE}(T)=\operatorname{Var}(T)。这说明在无偏估计量之间,比较方差等价于比较平均平方误差,方差较小者整体误差也较小。

若估计量存在偏差,就不能只看方差。一个方差很小但偏差明显的估计量,均方误差可能仍然较大;此时应直接比较均方误差,而不是沿用无偏估计量的有效性结论。

实际比较的顺序

先验证各估计量是否估计同一参数,再分别计算期望确认无偏性,然后在相同样本量和模型假设下计算方差。若一个方差始终不大于另一个,就可判断其更有效;若方差关系依赖未知参数,则需要说明适用范围,不能给出无条件结论。

有效性也不表示估计量在所有评价标准下绝对最优。实际选择还可能考虑计算成本、稳健性、样本缺失和模型假设是否可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

估计量的有效性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通