机器学习与深度学习 / 系统课时
理解主成分分析
理解主成分分析
学习目标
- 理解 PCA 的投影与方差保留思想
- 使用主成分降低特征维度
- 识别 PCA 的解释与缩放要求
PCA 做了什么
主成分分析寻找一组彼此正交的新方向,使第一主成分保留数据中最大的方差,第二主成分在与第一方向正交的前提下保留次大的方差,依次类推。原始特征会被线性组合成主成分。
PCA 是无监督方法,不使用目标标签。它保留的是输入数据方差,不保证保留对预测目标最有价值的信息。
缩放后执行 PCA
python
from sklearn.datasets import load_wine
from sklearn.decomposition import PCA
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
X, _ = load_wine(return_X_y=True)
pipeline = Pipeline([
("scale", StandardScaler()),
("pca", PCA(n_components=0.95)),
])
X_reduced = pipeline.fit_transform(X)
pca = pipeline.named_steps["pca"]
print("原始维度:", X.shape[1])
print("降维后维度:", X_reduced.shape[1])
print("累计解释方差:", round(
pca.explained_variance_ratio_.sum(), 3
))预期结果:
text
原始维度: 13
降维后维度小于 13
累计解释方差大于或等于 0.95为什么通常需要标准化
PCA 根据方差寻找方向。若一个特征的数值范围远大于其他特征,它会主导主成分。除非单位差异本身就代表重要性,否则应先标准化。
缩放器与 PCA 都只能在训练集上拟合,并作为流水线一起应用到验证、测试和线上数据。
主成分如何解释
components_ 中的载荷表示各原始特征对主成分的线性贡献。可以查看绝对值较大的特征来理解方向,但一个主成分往往混合多个原始变量,解释性通常低于直接使用原始特征。
主成分的正负方向可以整体翻转而不改变结果,因此不要过度解释符号本身。
适用场景与限制
PCA 适合高维、特征相关性强、希望压缩存储或加速模型的场景,也常用于二维可视化。它只能表达线性投影,对非线性流形结构能力有限。
降维后应重新验证模型指标。解释方差达到 95% 不等于预测性能一定保留 95%。
选择主成分数量
可以直接指定主成分数,也可以指定累计解释方差比例。若目的是可视化,通常固定为 2;若目的是建模,应在多个比例下比较交叉验证分数、训练时间和模型大小。选择结果必须基于下游任务,而不是只追求最高压缩率。
按自己的节奏,确认真正理解。