机器学习与深度学习 / 系统课时

识别数据泄漏

识别数据泄漏

学习目标

完成本课后,你将能够:

  • 说明目标泄漏和训练测试污染的含义
  • 判断特征在真实预测时是否可获得
  • 通过正确划分和流水线降低泄漏风险

什么是数据泄漏

数据泄漏是指训练过程使用了真实预测时不可获得的信息,或测试集信息通过预处理、调参等方式进入训练流程。泄漏会让离线指标异常优秀,但上线后效果迅速下降。

目标泄漏示例

假设目标是“订单是否退款”,以下字段可能泄漏答案:

  • 退款完成时间。
  • 退款单号。
  • 售后处理状态。
  • 退款后的账户余额变化。
  • 只有退款成功后才写入的备注。

判断标准:站在模型产生预测的那个时间点,检查字段是否已经真实存在。

预处理泄漏示例

错误做法是先用全部数据计算均值和标准差,再划分训练集与测试集。这样测试集统计信息进入了训练过程。正确做法是先划分,再只在训练集上拟合预处理器:

python
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

features, labels = load_iris(return_X_y=True)

x_train, x_test, y_train, y_test = train_test_split(
    features,
    labels,
    test_size=0.2,
    random_state=42,
    stratify=labels
)

pipeline = Pipeline([
    ("scaler", StandardScaler()),
    ("model", LogisticRegression(max_iter=300)),
])

# Pipeline 会在训练集上拟合 scaler,再使用相同参数转换测试集
pipeline.fit(x_train, y_train)
print(f"测试集准确率: {pipeline.score(x_test, y_test):.2f}")

预期输出:

text
测试集准确率: 0.97

具体结果可能因库版本存在小幅差异。

时间泄漏

时间相关任务必须保证训练数据来自预测时间之前。例如使用 1 月到 10 月数据训练,11 月验证,12 月测试。随机划分可能让未来记录进入训练集。

同一用户或同一设备的多条记录也可能同时出现在训练集和测试集,导致模型记住实体特征。此时应按用户、设备或业务主体分组划分。

泄漏排查清单

  1. 明确预测时点。
  2. 为每个字段记录生成时间和可用时间。
  3. 检查标签生成逻辑。
  4. 确认划分发生在所有数据拟合操作之前。
  5. 检查重复样本、同一实体跨集合和未来信息。
  6. 对异常高指标进行反向验证。

本课练习

  1. 从退款预测字段中找出至少 3 个可能泄漏答案的字段。
  2. 解释为什么对全部数据做特征选择后再划分会泄漏。
  3. 为用户流失数据设计按时间和用户分组的划分方案。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

识别数据泄漏

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通