机器学习与深度学习 / 系统课时

理解特征工程

理解特征工程

学习目标

  • 理解特征工程在模型流程中的作用
  • 区分原始字段、模型特征和目标标签
  • 建立防止泄漏的特征设计原则

特征决定模型看到什么

特征工程把原始数据转换为模型可以使用、能够表达业务规律的输入。原始订单表中的时间、金额和用户标识只是字段;经过聚合后形成的“近 30 天订单数”“平均客单价”“距上次交易天数”才是模型特征。

同一个算法在不同特征表示下可能产生完全不同结果。模型无法利用没有提供的信息,也无法自动修复错误的时间口径和业务定义。

三类工作

第一类是表示转换,例如缺失值填充、类别编码、数值缩放和文本向量化。第二类是构造新特征,例如比例、差值、窗口统计和交互项。第三类是选择与约束,移除泄漏、重复、无关或极不稳定的字段。

特征工程不是越多越好。每个特征都应有来源、计算时间、数据类型、缺失规则和业务解释。

先防止目标泄漏

目标泄漏是指特征包含预测时不可获得的信息,或直接、间接暴露标签。例如预测贷款是否违约时使用“催收结果”,预测订单是否退款时使用“退款完成时间”。这类特征会让离线指标异常高,线上却无法使用。

判断标准是:在模型实际做出预测的那个时间点,该字段是否已经稳定存在。只要答案是否定的,就不能作为特征。

训练与线上必须同源

离线训练和线上预测应复用同一套转换逻辑。若训练脚本用人民币元、接口传入人民币分,或训练时缺失值填 0、线上填均值,模型输入就会发生偏移。

推荐使用流水线封装预处理和模型,并为特征建立数据字典、单元测试和版本号。任何字段新增、删除或口径变化都应触发兼容性检查。

判断特征是否有价值

高质量特征通常具备四个条件:预测时可获得;与目标存在稳定关系;跨时间窗口分布相对稳定;计算成本满足上线要求。评估时既看模型指标变化,也看特征生成延迟、缺失率和解释难度。

不要只根据单次相关性决定保留。特征可能通过非线性或交互产生价值,也可能在某个时间窗口偶然有效,需要交叉验证和时间外验证确认。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解特征工程

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通