高等数学 / 系统课时

理解协方差矩阵为何半正定

理解协方差矩阵为何半正定

协方差矩阵不仅记录每个变量自身的波动,还记录变量之间如何共同变化。它必然是半正定矩阵,这并不是额外假设,而是由“任何随机变量的方差都不可能为负”直接推出的。理解这一点后,协方差矩阵的特征值和特征向量也会自然获得几何意义。

学习目标

  • 能从任意线性组合的方差非负证明协方差矩阵半正定。
  • 能解释协方差矩阵出现零特征值时代表的数据约束。
  • 能把特征向量理解为数据波动方向,把特征值理解为该方向上的方差。

从线性组合的方差出发

设随机向量 X∈RnX\in\mathbb{R}^n 的均值为 μ=E[X]\mu=E[X],协方差矩阵定义为

Σ=E[(X−μ)(X−μ)T].\Sigma=E\left[(X-\mu)(X-\mu)^T\right].

要判断一个对称矩阵是否半正定,只需检查对任意向量 aa 是否都有 aTΣa≥0a^T\Sigma a\ge 0。代入协方差矩阵可得

aTΣa=E[aT(X−μ)(X−μ)Ta].a^T\Sigma a=E\left[a^T(X-\mu)(X-\mu)^Ta\right].

括号中的标量可以整理为平方:

aTΣa=E[(aT(X−μ))2]=Var⁡(aTX)≥0.a^T\Sigma a=E\left[\left(a^T(X-\mu)\right)^2\right]=\operatorname{Var}(a^TX)\ge0.

因此,对所有 aa 都有 aTΣa≥0a^T\Sigma a\ge0,所以 Σ\Sigma 必然半正定。这个证明的本质只有一句话:沿任意方向投影后的数据,其方差不可能是负数。

为什么只是半正定而不一定正定

半正定允许某些非零向量 aa 满足 aTΣa=0a^T\Sigma a=0。根据上面的等式,这意味着 aTXa^TX 的方差为零,也就是数据沿这个线性组合没有任何波动。

例如考虑

Σ=[1224].\Sigma=\begin{bmatrix}1&2\\2&4\end{bmatrix}.

它的特征值为 55 和 00。沿方向 (1,2)T(1,2)^T 数据可以存在波动,而与它正交的方向 (−2,1)T(-2,1)^T 上方差为零。几何上,这对应数据被限制在一条直线上,而不是铺满整个二维区域。

所以,协方差矩阵出现零特征值通常意味着某个方向没有独立变化,例如一个变量能够由其他变量精确线性表示。只有当每个非零方向都有正方差时,协方差矩阵才是正定矩阵。

协方差矩阵特征方向与方差示意图

特征向量就是波动方向

协方差矩阵是实对称矩阵,因此可以正交对角化。设单位特征向量 vv 满足

Σv=λv.\Sigma v=\lambda v.

把数据投影到方向 vv 后,其方差为

Var⁡(vTX)=vTΣv=vT(λv)=λ.\operatorname{Var}(v^TX)=v^T\Sigma v=v^T(\lambda v)=\lambda.

因此,每个特征值都可以直接解释为对应特征方向上的方差。特征值越大,数据沿该方向越分散;特征值为零,则数据在该方向没有波动。由于所有方向上的方差都非负,协方差矩阵的所有特征值也必然非负。

这正是主成分分析等方法能够按照特征值大小寻找主要变化方向的原因:它们不是人为规定一组轴,而是在寻找数据本身方差最大的正交方向。

把代数条件读成数据事实

“协方差矩阵半正定”可以同时从三个角度理解:代数上,任意 aa 都满足 aTΣa≥0a^T\Sigma a\ge0;概率上,这个量就是线性组合 aTXa^TX 的方差;几何上,它表示数据沿方向 aa 的投影不可能具有负的波动强度。

因此,看到协方差矩阵的特征分解时,可以直接把特征向量读成数据的主要方向,把特征值读成这些方向上的波动大小。零特征值也不再只是矩阵奇异的符号,而是数据实际缺少某个独立变化方向的证据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解协方差矩阵为何半正定

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通