机器学习与深度学习 / 系统课时
使用模型选择特征
使用模型选择特征
学习目标
- 理解嵌入式特征选择
- 使用 L1 正则化筛选变量
- 识别系数和树重要性的局限
模型在训练中完成选择
基于模型的特征选择利用模型学到的系数或重要性决定保留哪些特征。L1 正则化会把部分线性模型系数压到 0,相当于自动筛选;树模型可根据分裂贡献生成重要性。
这种方法能考虑目标和部分特征关系,但选择结果依赖模型类型、参数和特征缩放。
用 L1 逻辑回归筛选
python
from sklearn.datasets import load_breast_cancer
from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
data = load_breast_cancer()
pipeline = Pipeline([
("scale", StandardScaler()),
("select", SelectFromModel(
LogisticRegression(
penalty="l1",
solver="liblinear",
C=0.1,
max_iter=2000,
random_state=42,
),
threshold="median",
)),
("model", LogisticRegression(max_iter=2000)),
])
pipeline.fit(data.data, data.target)
mask = pipeline.named_steps["select"].get_support()
selected = data.feature_names[mask]
print("保留特征数:", len(selected))
print("前 5 个特征:", selected[:5].tolist())预期结果:
text
输出保留特征数量和前 5 个特征名称。
使用 median 阈值时通常保留约一半特征。特征列表会随库版本和参数略有变化。
参数影响选择结果
L1 模型中的 C 越小,正则化越强,更多系数会被压到 0。特征未缩放时,系数大小受单位影响,因此应先标准化。树模型的选择则受深度、样本量和相关特征影响。
选择阈值也需要通过交叉验证确定,不能默认“保留前 10 个”就一定合理。
稳定性检查
在不同交叉验证折或时间窗口中重复选择,观察哪些特征持续被保留。若某组相关特征轮流出现,可以把它们视为一个信息组,而不是认为模型意见反复。
最终模型若用于解释,应报告选择方法、参数和稳定性。被删除不代表特征在现实中无关,只表示在当前模型和数据下没有提供足够增量。
与业务约束结合
某些字段出于合规、成本或可获得性原因必须删除,即使模型认为重要;另一些核心字段可能因审计要求必须保留。技术选择结果应与字段治理清单合并,最终特征集既满足效果,也满足线上可用和合规要求。
按自己的节奏,确认真正理解。