机器学习与深度学习 / 系统课时
筛选低价值特征
筛选低价值特征
学习目标
- 识别常量、近常量、重复和高缺失特征
- 建立可解释的删除规则
- 避免误删稀有但重要的信息
为什么先做基础筛选
低价值特征会增加训练成本、模型复杂度和排障难度。常量列不提供区分信息;重复列造成冗余;高缺失率字段可能只在少量样本中存在;随机标识通常让模型记忆训练样本。基础筛选应在复杂模型选择之前完成,并保留删除原因。
自动生成质量报告
python
import pandas as pd
data = pd.DataFrame({
"constant": [1, 1, 1, 1],
"mostly_missing": [None, None, 3.0, None],
"amount": [100, 200, 300, 400],
"amount_copy": [100, 200, 300, 400],
"user_id": ["U1", "U2", "U3", "U4"],
})
report = pd.DataFrame({
"dtype": data.dtypes.astype(str),
"missing_rate": data.isna().mean(),
"unique_count": data.nunique(dropna=False),
})
constant_cols = report.index[report["unique_count"] <= 1].tolist()
high_missing_cols = report.index[
report["missing_rate"] >= 0.70
].tolist()
duplicate_cols = data.T.duplicated().loc[
lambda x: x
].index.tolist()
print(report)
print("常量列:", constant_cols)
print("高缺失列:", high_missing_cols)
print("重复列:", duplicate_cols)预期结果:
text
constant 被识别为常量列;
mostly_missing 被识别为高缺失列;
amount_copy 被识别为重复列。删除规则不能机械化
高缺失率不等于无价值。某项检查只对高风险用户执行时,“是否缺失”本身可能携带信息。可以增加缺失指示特征,并验证其稳定性。近常量的欺诈规则命中字段虽然只有极少数为 1,也可能非常关键。
因此自动规则用于生成候选清单,最终删除前要结合业务含义和模型验证。
标识字段和泄漏字段
用户 ID、订单号等高基数标识通常不应直接输入模型,因为它们容易导致记忆且无法泛化。但标识可以用于关联历史数据,构造用户级统计特征。
还要检查与目标几乎一一对应的字段。异常高相关或单个字段就能获得极高分数时,应优先怀疑标签泄漏,而不是立即庆祝。
筛选结果验收
删除后应重新训练基线并比较交叉验证表现、训练时间和模型大小。若性能明显下降,要回查被删除字段,而不是继续叠加其他特征。质量规则本身也应版本化,因为缺失率阈值和允许字段会随业务阶段变化。
按自己的节奏,确认真正理解。