高等数学 / 系统课时

用PCA压缩高维数据特征

用PCA压缩高维数据特征

PCA 的目标不是简单删除若干列,而是在尽量保留数据变化信息的前提下,把原始特征重新组合成更少的正交方向。本篇完成中心化、主成分提取、低维投影,并用解释方差决定保留多少维。

学习目标

  • 理解中心化、主成分方向与低维投影之间的关系
  • 使用 SVD 从数据中计算主成分并完成降维
  • 根据解释方差比选择满足信息保留目标的维数

先中心化再寻找主方向

设数据矩阵为 X∈Rn×dX\in\mathbb{R}^{n\times d},每行是一条样本,每列是一个特征。PCA 首先计算每列均值 μ\mu,再得到中心化数据

Xc=X−1μTX_c=X-\mathbf{1}\mu^T

中心化把坐标原点移动到样本均值处。如果直接对未中心化数据做 PCA,主方向可能被整体位置偏移影响,而不是反映样本真正的变化方向。

PCA 接着寻找单位向量 v1v_1,使样本投影到该方向后的方差最大;第二个方向 v2v_2 在与 v1v_1 正交的约束下继续捕获最多剩余方差。后续主成分依次类推,因此各主成分互相正交,并按解释方差从大到小排列。

PCA从相关特征中寻找主轴并投影到低维空间

用 SVD 提取主成分

对中心化矩阵做奇异值分解:

Xc=UΣVTX_c=U\Sigma V^T

矩阵 VV 的列给出主成分方向,奇异值则与这些方向上的方差大小直接相关。对第 ii 个奇异值 σi\sigma_i,对应样本方差为

λi=σi2n−1\lambda_i=\frac{\sigma_i^2}{n-1}

解释方差比定义为 λi/∑jλj\lambda_i/\sum_j\lambda_j。若前 kk 个主成分的累计解释方差已经达到目标阈值,就可以保留这 kk 个方向,并计算低维表示 Z=XcVkZ=X_cV_k。

下面的示例用 6 条三维样本演示完整流程,并以累计解释方差至少 95% 为保留标准。

python
import numpy as np

def main():
    X = np.array([
        [2.5, 2.4, 1.0],
        [0.5, 0.7, 0.2],
        [2.2, 2.9, 0.9],
        [1.9, 2.2, 0.7],
        [3.1, 3.0, 1.2],
        [2.3, 2.7, 0.8],
    ], dtype=float)

    # PCA 必须基于中心化后的数据计算方向。
    X_centered = X - X.mean(axis=0)
    _, singular_values, vt = np.linalg.svd(
        X_centered, full_matrices=False
    )

    variances = singular_values ** 2 / (X.shape[0] - 1)
    ratios = variances / variances.sum()
    cumulative = np.cumsum(ratios)

    threshold = 0.95
    k = int(np.searchsorted(cumulative, threshold) + 1)

    components = vt[:k]
    projected = X_centered @ components.T

    print("explained_ratio =", np.round(ratios, 4))
    print("cumulative =", np.round(cumulative, 4))
    print("selected_k =", k)
    print("projected_shape =", projected.shape)

if __name__ == "__main__":
    main()

预期输出

text
explained_ratio = [0.9668 0.0318 0.0013]
cumulative = [0.9668 0.9987 1.    ]
selected_k = 1
projected_shape = (6, 1)

第一主成分已经解释约 96.68% 的总方差,因此按 95% 阈值只需保留 1 维。原来的 6×3 数据被转换为 6×1 的低维表示。主成分向量整体乘以 −1-1 仍表示同一条轴,因此不同实现中主成分符号可能相反,但解释方差与保留维数不会因此改变。

用解释方差选择维数

保留维数不是越少越好。阈值应由任务允许的信息损失决定:用于可视化时可以接受更强压缩,用于后续预测时则应验证降维后模型指标是否下降。常见做法是选择最小的 kk,使

∑i=1kλi∑i=1dλi≥τ\frac{\sum_{i=1}^{k}\lambda_i}{\sum_{i=1}^{d}\lambda_i}\geq\tau

其中 τ\tau 是目标累计解释方差,例如 0.90、0.95 或 0.99。这个阈值反映的是“保留多少总体变化”,并不保证某个业务上重要但低方差的特征一定被保留。

判断降维结果是否值得使用

PCA 适合特征之间存在较强相关性、希望减少存储或计算开销、或需要缓解高维噪声的场景。它是线性变换,且主成分通常是多个原始特征的组合,因此可解释性可能下降。

在工程中,至少应检查三件事:训练集上的累计解释方差是否达到目标;变换后的维数是否真正减少;下游任务在相同验证集上的指标是否仍可接受。若数据量纲差异巨大,还应先判断是否需要标准化,否则方差大的量纲可能主导 PCA。PCA 压缩的是方差结构,而不是自动筛选“业务最重要”的原始列。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用PCA压缩高维数据特征

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通