高等数学 / 系统课时

从SVD推导主成分分析

从SVD推导主成分分析

PCA 可以直接从中心化数据矩阵的 SVD 推出来:右奇异向量给出主成分方向,奇异值决定解释方差,而投影后的降维坐标等于 UΣU\Sigma 的前几列。本篇把这些关系连成同一套公式。

学习目标

  • 能由中心化数据矩阵的 SVD 推导 PCA 的主成分方向
  • 能由奇异值计算解释方差与解释方差比
  • 能说明降维坐标、低秩重构和截断 SVD 之间的对应关系

从中心化数据矩阵开始

设数据矩阵 X∈Rn×pX\in\mathbb{R}^{n\times p} 有 nn 个样本、pp 个特征。先对每个特征减去样本均值,得到中心化矩阵 XcX_c,再做紧致 SVD:

Xc=UΣVT.X_c=U\Sigma V^T.

PCA 通常从样本协方差矩阵出发:

S=1n−1XcTXc.S=\frac{1}{n-1}X_c^T X_c.

把 SVD 代入可得

S=VΣ2n−1VT.S=V\frac{\Sigma^2}{n-1}V^T.

因此,SS 的特征向量就是 VV 的列向量,特征值则是 σi2/(n−1)\sigma_i^2/(n-1)。这意味着无需显式构造协方差矩阵,也可以直接从 XcX_c 的 SVD 得到 PCA。

SVD与PCA各量之间的对应关系

主成分方向与解释方差

第 ii 个右奇异向量 viv_i 是第 ii 个主成分方向。沿该方向投影后,样本的方差为

λi=σi2n−1.\lambda_i=\frac{\sigma_i^2}{n-1}.

因此解释方差比可直接写成

EVRi=σi2∑jσj2.\mathrm{EVR}_i=\frac{\sigma_i^2}{\sum_j\sigma_j^2}.

例如奇异值为 6,3,16,3,1,则三个方向的平方能量为 36,9,136,9,1。第一主成分解释约 78.3%78.3\% 的总方差,前两个主成分累计解释约 97.8%97.8\%。所以选择主成分数量,本质上也是在选择保留多少奇异值平方能量。

主成分方向的正负号没有唯一性:viv_i 和 −vi-v_i 表示同一条轴。解释结果时应关注方向所张成的子空间和各特征载荷的相对关系,而不是执着于整体符号。

降维坐标为什么等于U乘Sigma

保留前 kk 个主成分方向组成 VkV_k,将中心化样本投影到这些方向:

Z=XcVk.Z=X_cV_k.

利用 Xc=UΣVTX_c=U\Sigma V^T 和 VTVkV^T V_k 的正交关系,可得

Z=UkΣk.Z=U_k\Sigma_k.

所以 ZZ 的每一行就是一个样本在 kk 维主成分空间中的坐标。若要从降维坐标近似恢复到原特征空间,则

X^c=ZVkT=UkΣkVkT.\hat{X}_c=ZV_k^T=U_k\Sigma_k V_k^T.

右侧正是 XcX_c 的秩 kk 截断 SVD。这说明 PCA 的降维与截断 SVD 的低秩近似是同一结构的两种视角:前者强调样本坐标,后者强调矩阵重构。若要恢复到原始数据坐标,还需把先前减去的特征均值加回每个样本。

中心化与缩放不能混为一谈

中心化是上面推导成立的关键步骤。若不先减去每个特征的均值,第一奇异方向可能主要反映数据整体偏离原点的位置,而不是样本围绕均值的最大方差方向。

缩放则取决于任务。如果不同特征量纲差异很大,方差较大的特征会自然主导 PCA,此时常先标准化为零均值、单位方差;这样得到的结果等价于基于相关系数矩阵做 PCA,而不是原始协方差矩阵 PCA。

从 SVD 角度看,PCA 的核心关系可以压缩为三句:VkV_k 决定投影方向,UkΣkU_k\Sigma_k 给出低维坐标,UkΣkVkTU_k\Sigma_kV_k^T 给出对应的最佳秩 kk 重构。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从SVD推导主成分分析

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通