高等数学 / 系统课时

估计量的无偏性

估计量的无偏性

无偏性回答一个核心问题:反复从同一总体抽样时,估计量的平均结果是否正好落在真实参数上。本课将用期望定义偏差,并通过样本均值与样本方差说明如何判断和修正有偏估计量。

学习目标

  • 能用期望写出估计量的偏差并判断是否无偏
  • 能解释样本均值为什么是总体均值的无偏估计
  • 能区分“无偏”与“某一次估计恰好准确”

从偏差开始判断

设总体中待估参数为 θ\theta,由样本构造的统计量为 θ^\hat{\theta}。估计量的偏差定义为:

Bias⁡θ(θ^)=E⁡θ(θ^)−θ\operatorname{Bias}_{\theta}(\hat{\theta})=\operatorname{E}_{\theta}(\hat{\theta})-\theta

当对参数空间中的每个 θ\theta 都有 E⁡θ(θ^)=θ\operatorname{E}_{\theta}(\hat{\theta})=\theta 时,称 θ^\hat{\theta} 是 θ\theta 的无偏估计量。若期望大于真实参数,估计量整体偏高;若期望小于真实参数,则整体偏低。

无偏性描述的是重复抽样下的长期平均表现,而不是保证某一次计算结果等于真实参数。单次估计即使偏离很大,也不直接否定估计量的无偏性。

样本均值为什么无偏

设 X1,X2,…,XnX_1,X_2,\ldots,X_n 来自同一总体,且每个随机变量的期望都是 μ\mu。样本均值为:

Xˉ=1n∑i=1nXi\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i

利用期望的线性性质可得:

E⁡(Xˉ)=1n∑i=1nE⁡(Xi)=1n⋅nμ=μ\operatorname{E}(\bar{X}) =\frac{1}{n}\sum_{i=1}^{n}\operatorname{E}(X_i) =\frac{1}{n}\cdot n\mu =\mu

因此,样本均值 Xˉ\bar{X} 是总体均值 μ\mu 的无偏估计量。这个结论不要求总体服从正态分布,只要各样本具有相同且存在的期望即可。

有偏样本方差如何修正

若使用下面的统计量估计总体方差 σ2\sigma^2:

Sn2=1n∑i=1n(Xi−Xˉ)2S_n^2=\frac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X})^2

它的期望为:

E⁡(Sn2)=n−1nσ2\operatorname{E}(S_n^2)=\frac{n-1}{n}\sigma^2

因此其偏差为 −σ2/n-\sigma^2/n,会系统性低估总体方差。原因是样本离差围绕由同一批数据计算出的 Xˉ\bar{X} 展开,损失了一个自由度。把分母从 nn 改为 n−1n-1,得到:

S2=1n−1∑i=1n(Xi−Xˉ)2S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2

此时 E⁡(S2)=σ2\operatorname{E}(S^2)=\sigma^2,所以 S2S^2 是总体方差的无偏估计量。这也是统计软件计算样本方差时常采用 n−1n-1 作为分母的原因。

判断无偏性的步骤与边界

判断一个估计量是否无偏,先明确它估计的参数,再对估计量求期望,最后比较该期望与真实参数是否对所有可能参数值都相等。只在某个特殊参数值上相等,不能称为无偏。

无偏也不等于一定更好。两个估计量都无偏时,还要比较方差;一个有轻微偏差但波动很小的估计量,也可能具有更小的均方误差。此外,若 θ^\hat{\theta} 对 θ\theta 无偏,非线性变换 g(θ^)g(\hat{\theta}) 通常不再对 g(θ)g(\theta) 无偏。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

估计量的无偏性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通