机器学习与深度学习 / 系统课时
解释特征重要性
解释特征重要性
学习目标
- 理解基于不纯度下降的特征重要性
- 读取并排序树模型的重要性
- 避免把重要性误解为因果关系
重要性如何产生
决策树每次分裂都会带来一定的不纯度下降。一个特征在所有使用它的节点上贡献越大、覆盖样本越多,其基于不纯度的重要性通常越高。模型会把所有特征贡献归一化,使总和为 1。
这个指标回答“训练好的树主要依赖哪些特征做分裂”,不回答特征对预测方向的影响,也不证明特征导致了结果。
读取重要性
python
import pandas as pd
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
data = load_breast_cancer()
model = RandomForestClassifier(
n_estimators=200,
random_state=42,
)
model.fit(data.data, data.target)
importance = pd.Series(
model.feature_importances_,
index=data.feature_names,
).sort_values(ascending=False)
print(importance.head(5).round(4))预期结果:
text
输出重要性最高的 5 个特征及其归一化权重。
各权重非负,全部特征的重要性之和约为 1。具体排序可能随 scikit-learn 版本略有变化,因此更适合关注稳定的高重要性特征组,而不是小数点后的细微差异。
三个主要局限
第一,高基数或可产生大量候选阈值的特征可能获得偏高重要性。第二,高度相关的多个特征会分摊或替代贡献,其中一个看似不重要并不代表没有信息。第三,模型若已经过拟合,重要性也可能反映噪声规则。
因此应在验证集或测试集上结合置换重要性进行复核。置换某个特征后性能下降越明显,说明模型在未见数据上越依赖它。
正确解释方式
报告中应写“模型主要依赖特征 A、B、C”,而不是“特征 A 导致目标发生”。若需要说明单个样本为何被预测,可使用路径解释或 SHAP 等局部解释方法,但仍要说明解释对象是模型行为而非现实因果。
特征重要性还可用于发现数据泄漏。例如某个本应在预测后才出现的字段排名异常靠前,应立即检查特征生成时间。
按自己的节奏,确认真正理解。