高等数学 / 系统课时

协方差

协方差

两个随机变量可能一起增大、一个增大另一个减小,也可能没有稳定的线性变化方向。本课用协方差量化这种共同变化,并解释其符号、计算方法与尺度依赖性。

学习目标

  • 掌握协方差的定义与等价计算公式
  • 能根据协方差的符号判断线性变化方向
  • 理解零协方差、独立性与尺度变化之间的边界

协方差衡量什么

设随机变量 XX、YY 的均值分别为 μX\mu_X、μY\mu_Y,协方差定义为:

Cov⁡(X,Y)=E[(X−μX)(Y−μY)]\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]

当 XX 和 YY 经常同时高于各自均值,或同时低于各自均值时,乘积通常为正,协方差倾向于大于 00。若一个高于均值时另一个常低于均值,乘积通常为负,协方差倾向于小于 00。

正协方差、负协方差与近零协方差

展开定义后,可以得到更便于计算的公式:

Cov⁡(X,Y)=E[XY]−E[X]E[Y]\operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y]

协方差还满足对称性,即 Cov⁡(X,Y)=Cov⁡(Y,X)\operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X);当两个变量相同,Cov⁡(X,X)=Var⁡(X)\operatorname{Cov}(X,X)=\operatorname{Var}(X)。

主示例:离散随机变量手算

设 XX 以相同概率取值 −1-1、00、11,并令 Y=2X+1Y=2X+1。对应取值如下:

XX YY 概率 (X−E[X])(Y−E[Y])(X-E[X])(Y-E[Y])
−1-1 −1-1 1/31/3 22
00 11 1/31/3 00
11 33 1/31/3 22

先求均值:

E[X]=0,E[Y]=1E[X]=0,\qquad E[Y]=1

再对中心化乘积取期望:

Cov⁡(X,Y)=13×2+13×0+13×2=43\operatorname{Cov}(X,Y)=\frac{1}{3}\times2+\frac{1}{3}\times0+\frac{1}{3}\times2=\frac{4}{3}

结果为正,符合 Y=2X+1Y=2X+1 的同向线性关系。常数 11 只改变 YY 的位置,不会改变协方差。

符号含义与零协方差

协方差大于 00,表示两个变量总体上同向线性变化;小于 00,表示总体上反向线性变化;接近 00,表示没有明显的线性共同变化。

需要注意,协方差为 00 不等于两个变量独立。变量之间可能存在明显的非线性关系,但正负中心化乘积相互抵消。反过来,在二阶矩存在时,独立通常可以推出协方差为 00。

尺度依赖性

协方差会随单位变化。对常数 aa、bb、cc、dd,有:

Cov⁡(aX+b,cY+d)=acCov⁡(X,Y)\operatorname{Cov}(aX+b,cY+d)=ac\operatorname{Cov}(X,Y)

平移量 bb、dd 不影响协方差,但缩放系数 aa、cc 会直接改变其大小和符号。例如把米改成厘米,相应变量放大 100100 倍,协方差也会按比例放大。

因此,协方差的数值大小不能脱离量纲直接比较。它更适合判断方向,若要比较不同单位或不同数据集中的关系强弱,应使用标准化后的相关系数。

样本协方差

实际数据中通常只有样本 (xi,yi)(x_i,y_i)。常用的样本协方差为:

sxy=1n−1∑i=1n(xi−xˉ)(yi−yˉ)s_{xy}=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})

分母使用 n−1n-1,是为了在独立同分布抽样条件下对总体协方差进行无偏估计。若只是描述当前这批完整数据,也可能使用分母 nn;使用前应先明确是在估计总体,还是统计已知总体本身。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

协方差

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通