机器学习与深度学习 / 系统课时

均值方差与分布

均值方差与分布

面对一组数据,仅看最大值和最小值往往无法判断它的整体特征。均值描述数据大致位于哪里,方差描述数据围绕中心分散得有多开,而分布进一步说明不同取值出现的规律,这些量也是分析训练数据和模型输出的基础工具。

学习目标

  • 会使用均值描述数据的集中位置
  • 理解方差和标准差如何衡量数据离散程度
  • 能从分布角度区分“中心相同但形态不同”的数据

均值描述数据的中心位置

对于 nn 个数值 x1,x2,...,xnx_1,x_2,...,x_n,算术均值为:

xˉ=1n∑i=1nxi,n>0\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i,\qquad n>0

例如数据为 2、4、4、6,则均值为:

xˉ=(2+4+4+6)/4=4\bar{x}=(2+4+4+6)/4=4

均值把整组数据压缩成一个代表性的中心位置,常用于比较不同数据集的平均水平。例如,可以比较训练集与测试集某个数值特征的均值,快速发现明显的数据偏移。

但均值对极端值比较敏感。若数据从 2、4、4、6 变为 2、4、4、100,均值会被 100 大幅拉高。因此,均值提供的是重要信息,但不能单独描述整组数据。

方差衡量围绕均值的离散程度

两组数据即使均值完全相同,也可能有截然不同的稳定程度。方差通过计算每个值与均值之间距离的平方,再取平均来衡量这种分散程度。

若把总体方差记作 Var(X)Var(X),可以写成:

Var⁡(X)=E[(X−μ)2],μ=E[X]\operatorname{Var}(X)=\mathbb{E}[(X-\mu)^2],\qquad \mu=\mathbb{E}[X]

仍以 2、4、4、6 为例,均值是 4,各值与均值的偏差平方分别是 4、0、0、4,因此总体方差为:

Var(X)=(4+0+0+4)/4=2Var(X)=(4+0+0+4)/4=2

标准差是方差的平方根,即 σ=√2σ=√2。方差的单位是原数据单位的平方,而标准差与原数据保持相同单位,因此实际解释数据波动范围时通常更直观。

相同均值不代表相同分布

考虑两组数据:A 为 2、4、4、6,B 为 0、4、4、8。它们的均值都等于 4,但 B 中的数据离 4 更远,因此 B 的方差更大。

数据 均值 总体方差 特征
2、4、4、6 4 2 更集中
0、4、4、8 4 8 更分散

相同均值下不同方差的数据分布

“分布”描述的是一个变量可能取哪些值,以及这些值分别有多常见或多可能。均值和方差只是分布的两个摘要指标,不能完整保留它的形状。偏斜、长尾、多峰等结构,都可能被单个均值和方差隐藏。

均值和方差相同也不能确定分布。比较 [-1,1] 与 [-2,0,0,0,0,0,0,2],两者的经验均值都为 0,总体口径方差都为 1,后者零值占 75%。

python
from statistics import mean, pvariance, variance

a = [2, 4, 4, 6]
b = [0, 4, 4, 8]
print("A 的总体方差和样本方差:", pvariance(a), f"{variance(a):.3f}")
print("B 的均值和总体方差:", mean(b), pvariance(b))
for values in ([-1, 1], [-2, 0, 0, 0, 0, 0, 0, 2]):
    print("均值、总体方差、零值占比:", mean(values), pvariance(values), values.count(0) / len(values))

代码中的 pvariance 描述给定值的总体口径,variance 按样本口径计算。前两组的总体口径方差分别为 2 与 8,A 的样本方差为 8/3。

常见分布与模型数据

不同类型的数据通常需要不同的概率分布来描述。二分类标签只有 0 和 1,可以用伯努利分布表达;多分类标签对应多个离散类别,可以用类别分布表示;若满足中心极限定理的条件,标准化的样本和或均值可能近似正态。这不会保证每个原始测量值的分布也近似正态。

这里的重点不是看到连续数据就假定它服从正态分布,而是先观察数据,再判断哪种分布假设合理。真实业务数据经常存在偏斜、截断、异常值和多个群体混合等现象。

在机器学习中,训练前可以比较训练集和验证集重要特征的均值、标准差以及整体分布;训练后也可以观察预测概率和残差的分布。如果均值变化不大但分布形态明显改变,仅比较平均值就可能漏掉重要的数据漂移。

均值回答“数据大致在哪里”,方差回答“数据散得多开”,分布回答“数据整体怎样出现”。实际分析时把三者结合起来,才能避免用一个平均数替代整组数据的真实结构。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

均值方差与分布

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通