机器学习与深度学习 / 系统课时
识别数据泄漏
识别数据泄漏
学习目标
完成本课后,你将能够:
- 说明目标泄漏和训练测试污染的含义
- 判断特征在真实预测时是否可获得
- 通过正确划分和流水线降低泄漏风险
什么是数据泄漏
数据泄漏是指训练过程使用了真实预测时不可获得的信息,或测试集信息通过预处理、调参等方式进入训练流程。泄漏会让离线指标异常优秀,但上线后效果迅速下降。
目标泄漏示例
假设目标是“订单是否退款”,以下字段可能泄漏答案:
- 退款完成时间。
- 退款单号。
- 售后处理状态。
- 退款后的账户余额变化。
- 只有退款成功后才写入的备注。
判断标准:站在模型产生预测的那个时间点,检查字段是否已经真实存在。
预处理泄漏示例
错误做法是先用全部数据计算均值和标准差,再划分训练集与测试集。这样测试集统计信息进入了训练过程。正确做法是先划分,再只在训练集上拟合预处理器:
python
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
features, labels = load_iris(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(
features,
labels,
test_size=0.2,
random_state=42,
stratify=labels
)
pipeline = Pipeline([
("scaler", StandardScaler()),
("model", LogisticRegression(max_iter=300)),
])
# Pipeline 会在训练集上拟合 scaler,再使用相同参数转换测试集
pipeline.fit(x_train, y_train)
print(f"测试集准确率: {pipeline.score(x_test, y_test):.2f}")预期输出:
text
测试集准确率: 0.97具体结果可能因库版本存在小幅差异。
时间泄漏
时间相关任务必须保证训练数据来自预测时间之前。例如使用 1 月到 10 月数据训练,11 月验证,12 月测试。随机划分可能让未来记录进入训练集。
同一用户或同一设备的多条记录也可能同时出现在训练集和测试集,导致模型记住实体特征。此时应按用户、设备或业务主体分组划分。
泄漏排查清单
- 明确预测时点。
- 为每个字段记录生成时间和可用时间。
- 检查标签生成逻辑。
- 确认划分发生在所有数据拟合操作之前。
- 检查重复样本、同一实体跨集合和未来信息。
- 对异常高指标进行反向验证。
本课练习
- 从退款预测字段中找出至少 3 个可能泄漏答案的字段。
- 解释为什么对全部数据做特征选择后再划分会泄漏。
- 为用户流失数据设计按时间和用户分组的划分方案。
按自己的节奏,确认真正理解。