机器学习与深度学习 / 系统课时

解释特征重要性

解释特征重要性

学习目标

  • 理解基于不纯度下降的特征重要性
  • 读取并排序树模型的重要性
  • 避免把重要性误解为因果关系

重要性如何产生

决策树每次分裂都会带来一定的不纯度下降。一个特征在所有使用它的节点上贡献越大、覆盖样本越多,其基于不纯度的重要性通常越高。模型会把所有特征贡献归一化,使总和为 1。

这个指标回答“训练好的树主要依赖哪些特征做分裂”,不回答特征对预测方向的影响,也不证明特征导致了结果。

读取重要性

python
import pandas as pd
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier

data = load_breast_cancer()
model = RandomForestClassifier(
    n_estimators=200,
    random_state=42,
)
model.fit(data.data, data.target)

importance = pd.Series(
    model.feature_importances_,
    index=data.feature_names,
).sort_values(ascending=False)

print(importance.head(5).round(4))

预期结果:

text
输出重要性最高的 5 个特征及其归一化权重。
各权重非负,全部特征的重要性之和约为 1。

具体排序可能随 scikit-learn 版本略有变化,因此更适合关注稳定的高重要性特征组,而不是小数点后的细微差异。

三个主要局限

第一,高基数或可产生大量候选阈值的特征可能获得偏高重要性。第二,高度相关的多个特征会分摊或替代贡献,其中一个看似不重要并不代表没有信息。第三,模型若已经过拟合,重要性也可能反映噪声规则。

因此应在验证集或测试集上结合置换重要性进行复核。置换某个特征后性能下降越明显,说明模型在未见数据上越依赖它。

正确解释方式

报告中应写“模型主要依赖特征 A、B、C”,而不是“特征 A 导致目标发生”。若需要说明单个样本为何被预测,可使用路径解释或 SHAP 等局部解释方法,但仍要说明解释对象是模型行为而非现实因果。

特征重要性还可用于发现数据泄漏。例如某个本应在预测后才出现的字段排名异常靠前,应立即检查特征生成时间。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

解释特征重要性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通