机器学习与深度学习 / 系统课时
构造数值组合特征
构造数值组合特征
学习目标
- 掌握常见数值组合方式
- 正确处理除零、极端值和单位
- 通过流水线保持训练预测一致
组合特征的价值
单个原始数值可能不能直接表达业务关系。总消费额和订单数分别有用,但“平均客单价”更能区分高频低客单与低频高客单用户。收入和负债可以组合为负债收入比,当前值与历史均值可以组合为偏离程度。
常见形式包括差值、比例、和、乘积、对数、分桶、窗口统计和交互项。
构造一个可复用示例
python
import numpy as np
import pandas as pd
data = pd.DataFrame({
"user_id": ["U01", "U02", "U03"],
"amount_30d": [600.0, 0.0, 1500.0],
"orders_30d": [3, 0, 10],
"amount_prev_30d": [400.0, 200.0, 1200.0],
})
# 使用 replace 避免订单数为 0 时直接除零
denominator = data["orders_30d"].replace(0, np.nan)
data["avg_order_amount"] = data["amount_30d"] / denominator
data["amount_change"] = (
data["amount_30d"] - data["amount_prev_30d"]
)
data["growth_rate"] = data["amount_change"] / (
data["amount_prev_30d"].replace(0, np.nan)
)
data["log_amount"] = np.log1p(data["amount_30d"])
print(data.round(3))预期结果:
text
输出原始字段和四个新特征。
U02 的 avg_order_amount 为 NaN,而不是无穷大;
log_amount 使用 log1p,可安全处理金额为 0 的情况。边界处理
比例特征必须定义分母为 0 时的行为,可以保留缺失并交给填充器处理,也可以根据业务设置特定值,但不能让无穷大悄悄进入模型。增长率还容易被很小的历史值放大,应考虑截尾、对数或设置最小分母。
所有字段必须统一单位。金额不能一列用元、一列用分;时间间隔不能混用小时和天。单位问题通常比算法问题更难在离线指标中被发现。
控制交互数量
对所有特征做两两乘积会快速增加维度,并引入大量噪声。应从明确假设出发,例如“折扣率对高客单用户影响更大”,再构造 discount_rate × avg_order_amount。
新特征要通过交叉验证比较,并检查不同时间段的稳定性。若只在一个数据切分上提升,可能只是偶然拟合。
验证新特征
新特征上线前应比较生成前后的缺失率、极值、分布和模型增益。比例特征尤其要查看分位数,防止少量极端值支配训练。还要用固定输入执行单元测试,例如订单数为 0、历史金额为 0 和金额为负的退款场景。
按自己的节奏,确认真正理解。