机器学习与深度学习 / 系统课时
理解特征工程
理解特征工程
学习目标
- 理解特征工程在模型流程中的作用
- 区分原始字段、模型特征和目标标签
- 建立防止泄漏的特征设计原则
特征决定模型看到什么
特征工程把原始数据转换为模型可以使用、能够表达业务规律的输入。原始订单表中的时间、金额和用户标识只是字段;经过聚合后形成的“近 30 天订单数”“平均客单价”“距上次交易天数”才是模型特征。
同一个算法在不同特征表示下可能产生完全不同结果。模型无法利用没有提供的信息,也无法自动修复错误的时间口径和业务定义。
三类工作
第一类是表示转换,例如缺失值填充、类别编码、数值缩放和文本向量化。第二类是构造新特征,例如比例、差值、窗口统计和交互项。第三类是选择与约束,移除泄漏、重复、无关或极不稳定的字段。
特征工程不是越多越好。每个特征都应有来源、计算时间、数据类型、缺失规则和业务解释。
先防止目标泄漏
目标泄漏是指特征包含预测时不可获得的信息,或直接、间接暴露标签。例如预测贷款是否违约时使用“催收结果”,预测订单是否退款时使用“退款完成时间”。这类特征会让离线指标异常高,线上却无法使用。
判断标准是:在模型实际做出预测的那个时间点,该字段是否已经稳定存在。只要答案是否定的,就不能作为特征。
训练与线上必须同源
离线训练和线上预测应复用同一套转换逻辑。若训练脚本用人民币元、接口传入人民币分,或训练时缺失值填 0、线上填均值,模型输入就会发生偏移。
推荐使用流水线封装预处理和模型,并为特征建立数据字典、单元测试和版本号。任何字段新增、删除或口径变化都应触发兼容性检查。
判断特征是否有价值
高质量特征通常具备四个条件:预测时可获得;与目标存在稳定关系;跨时间窗口分布相对稳定;计算成本满足上线要求。评估时既看模型指标变化,也看特征生成延迟、缺失率和解释难度。
不要只根据单次相关性决定保留。特征可能通过非线性或交互产生价值,也可能在某个时间窗口偶然有效,需要交叉验证和时间外验证确认。
按自己的节奏,确认真正理解。