机器学习与深度学习 / 系统课时
使用统计方法选特征
使用统计方法选特征
学习目标
- 理解单变量统计筛选的作用
- 根据特征与目标类型选择检验方法
- 把特征选择放入交叉验证流程
单变量筛选的定位
统计特征选择分别评估每个特征与目标的关系,再保留得分较高的特征。它计算快、易解释,适合高维数据的第一轮降噪,但无法发现只有通过交互才有价值的特征。
分类任务中,非负计数或频率特征可使用卡方检验;连续特征与分类目标可使用方差分析 F 检验;连续目标可使用相关性或回归 F 检验。
使用方差分析选特征
python
from sklearn.datasets import load_breast_cancer
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.model_selection import train_test_split
data = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(
data.data,
data.target,
test_size=0.3,
stratify=data.target,
random_state=42,
)
selector = SelectKBest(score_func=f_classif, k=5)
X_train_selected = selector.fit_transform(X_train, y_train)
X_test_selected = selector.transform(X_test)
selected_names = data.feature_names[selector.get_support()]
print("选中特征:", selected_names.tolist())
print("训练形状:", X_train_selected.shape)
print("测试形状:", X_test_selected.shape)预期结果:
text
输出 5 个被选中的特征名称。
训练集和测试集的列数都变为 5。具体特征名称可能随数据切分与库版本略有差异。
为什么只能在训练集 fit
选择器使用目标标签计算分数。如果先在全量数据上选择特征,再划分测试集,测试标签就参与了特征选择,最终评估会偏乐观。
正确做法是把选择器放入 Pipeline,使每个交叉验证折只在当前训练折上拟合。
统计显著不等于预测价值
样本量很大时,微弱关系也可能统计显著;样本量很小时,真正有价值的特征可能未达到显著性。多重检验还会增加偶然发现概率。模型选择应关注交叉验证性能和稳定性,不应只看 p 值。
对高度相关特征,单变量方法可能同时保留多个冗余列。后续还需要模型正则化、相关性聚类或基于模型的方法进一步筛选。
方法选择提示
卡方检验要求输入非负,标准化后出现负值的特征不能直接使用;方差分析依赖一定统计假设,但在特征筛选中常作为近似排序工具。若特征为类别变量,应先选择合适编码,再确认检验输入满足要求。
按自己的节奏,确认真正理解。