机器学习与深度学习 / 系统课时

理解主成分分析

理解主成分分析

学习目标

  • 理解 PCA 的投影与方差保留思想
  • 使用主成分降低特征维度
  • 识别 PCA 的解释与缩放要求

PCA 做了什么

主成分分析寻找一组彼此正交的新方向,使第一主成分保留数据中最大的方差,第二主成分在与第一方向正交的前提下保留次大的方差,依次类推。原始特征会被线性组合成主成分。

PCA 是无监督方法,不使用目标标签。它保留的是输入数据方差,不保证保留对预测目标最有价值的信息。

缩放后执行 PCA

python
from sklearn.datasets import load_wine
from sklearn.decomposition import PCA
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

X, _ = load_wine(return_X_y=True)

pipeline = Pipeline([
    ("scale", StandardScaler()),
    ("pca", PCA(n_components=0.95)),
])

X_reduced = pipeline.fit_transform(X)
pca = pipeline.named_steps["pca"]

print("原始维度:", X.shape[1])
print("降维后维度:", X_reduced.shape[1])
print("累计解释方差:", round(
    pca.explained_variance_ratio_.sum(), 3
))

预期结果:

text
原始维度: 13
降维后维度小于 13
累计解释方差大于或等于 0.95

为什么通常需要标准化

PCA 根据方差寻找方向。若一个特征的数值范围远大于其他特征,它会主导主成分。除非单位差异本身就代表重要性,否则应先标准化。

缩放器与 PCA 都只能在训练集上拟合,并作为流水线一起应用到验证、测试和线上数据。

主成分如何解释

components_ 中的载荷表示各原始特征对主成分的线性贡献。可以查看绝对值较大的特征来理解方向,但一个主成分往往混合多个原始变量,解释性通常低于直接使用原始特征。

主成分的正负方向可以整体翻转而不改变结果,因此不要过度解释符号本身。

适用场景与限制

PCA 适合高维、特征相关性强、希望压缩存储或加速模型的场景,也常用于二维可视化。它只能表达线性投影,对非线性流形结构能力有限。

降维后应重新验证模型指标。解释方差达到 95% 不等于预测性能一定保留 95%。

选择主成分数量

可以直接指定主成分数,也可以指定累计解释方差比例。若目的是可视化,通常固定为 2;若目的是建模,应在多个比例下比较交叉验证分数、训练时间和模型大小。选择结果必须基于下游任务,而不是只追求最高压缩率。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解主成分分析

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通