高等数学 / 系统课时
从SVD推导主成分分析
从SVD推导主成分分析
PCA 可以直接从中心化数据矩阵的 SVD 推出来:右奇异向量给出主成分方向,奇异值决定解释方差,而投影后的降维坐标等于 的前几列。本篇把这些关系连成同一套公式。
学习目标
- 能由中心化数据矩阵的 SVD 推导 PCA 的主成分方向
- 能由奇异值计算解释方差与解释方差比
- 能说明降维坐标、低秩重构和截断 SVD 之间的对应关系
从中心化数据矩阵开始
设数据矩阵 有 个样本、 个特征。先对每个特征减去样本均值,得到中心化矩阵 ,再做紧致 SVD:
PCA 通常从样本协方差矩阵出发:
把 SVD 代入可得
因此, 的特征向量就是 的列向量,特征值则是 。这意味着无需显式构造协方差矩阵,也可以直接从 的 SVD 得到 PCA。

主成分方向与解释方差
第 个右奇异向量 是第 个主成分方向。沿该方向投影后,样本的方差为
因此解释方差比可直接写成
例如奇异值为 ,则三个方向的平方能量为 。第一主成分解释约 的总方差,前两个主成分累计解释约 。所以选择主成分数量,本质上也是在选择保留多少奇异值平方能量。
主成分方向的正负号没有唯一性: 和 表示同一条轴。解释结果时应关注方向所张成的子空间和各特征载荷的相对关系,而不是执着于整体符号。
降维坐标为什么等于U乘Sigma
保留前 个主成分方向组成 ,将中心化样本投影到这些方向:
利用 和 的正交关系,可得
所以 的每一行就是一个样本在 维主成分空间中的坐标。若要从降维坐标近似恢复到原特征空间,则
右侧正是 的秩 截断 SVD。这说明 PCA 的降维与截断 SVD 的低秩近似是同一结构的两种视角:前者强调样本坐标,后者强调矩阵重构。若要恢复到原始数据坐标,还需把先前减去的特征均值加回每个样本。
中心化与缩放不能混为一谈
中心化是上面推导成立的关键步骤。若不先减去每个特征的均值,第一奇异方向可能主要反映数据整体偏离原点的位置,而不是样本围绕均值的最大方差方向。
缩放则取决于任务。如果不同特征量纲差异很大,方差较大的特征会自然主导 PCA,此时常先标准化为零均值、单位方差;这样得到的结果等价于基于相关系数矩阵做 PCA,而不是原始协方差矩阵 PCA。
从 SVD 角度看,PCA 的核心关系可以压缩为三句: 决定投影方向, 给出低维坐标, 给出对应的最佳秩 重构。