机器学习与深度学习 / 系统课时

数据集划分与泄漏防范

数据集划分与泄漏防范

本课解决“离线指标很好,上线却失效”的常见问题。你将建立训练、验证、测试三部分的职责边界,按随机、分组或时间方式划分数据,并在预处理、特征构造和调参过程中阻断数据泄漏。

学习目标

  • 明确训练集、验证集和测试集的不同职责
  • 根据样本关系选择随机、分组或时间划分
  • 识别并阻止样本、时间与特征泄漏

先确定三类数据的职责

训练集用于拟合模型参数,验证集用于选择超参数、模型结构和停止轮次,测试集只用于方案确定后的最终评估。测试集一旦被反复查看,就会逐渐变成验证集,最终指标也会偏乐观。

常见比例可以从 70%/15%/15% 或 80%/10%/10% 起步,但比例不是核心。真正重要的是三部分能否代表未来数据,以及同一实体、同一事件或因果相关样本是否被错误拆散。

按数据生成方式选择划分策略

随机划分适用于样本近似独立且分布稳定的任务。用户、患者、设备或商品会产生多条记录时,应按实体分组划分,避免同一实体同时出现在训练集和验证集。预测未来行为时,应按时间先后划分,不能让未来样本进入训练阶段。

数据集划分与泄漏路径图

数据特征 推荐策略 主要防范问题
样本相互独立 随机划分 类别比例严重偏移
同一实体有多条记录 分组划分 实体信息被模型记住
目标是预测未来 时间划分 使用未来信息预测过去
类别极不均衡 分层划分 某个集合缺少少数类

多个条件可能同时存在。例如用户行为预测既要按用户分组,又要保证测试时间晚于训练时间,此时应先依据业务因果关系制定约束,而不是机械调用一次随机切分。

用代码验证分组互斥

下面使用标准库按用户划分数据,并显式检查三个集合的用户是否重叠。真实项目可将 user_id 替换为患者、设备、商户或会话等业务实体标识。

python
import random

records = [
    {"user_id": f"u{i:02d}", "time": f"2026-07-{day:02d}", "label": i % 2}
    for i in range(1, 11)
    for day in (1, 15)
]

users = sorted({row["user_id"] for row in records})
random.Random(42).shuffle(users)

train_users = set(users[:6])
val_users = set(users[6:8])
test_users = set(users[8:])

train = [row for row in records if row["user_id"] in train_users]
validation = [row for row in records if row["user_id"] in val_users]
test = [row for row in records if row["user_id"] in test_users]

# 交集必须为空,否则同一用户的信息会跨集合泄漏
assert train_users.isdisjoint(val_users)
assert train_users.isdisjoint(test_users)
assert val_users.isdisjoint(test_users)

print(f"train={len(train)}, val={len(validation)}, test={len(test)}")
print("train∩val =", sorted(train_users & val_users))
print("train∩test =", sorted(train_users & test_users))
print("val∩test =", sorted(val_users & test_users))

预期输出:

text
train=12, val=4, test=4
train∩val = []
train∩test = []
val∩test = []

固定随机种子可以复现实验,但不能保证划分合理。还应检查各集合的标签比例、时间范围、实体数量和关键特征分布,并将划分结果持久化,避免每次训练重新抽样导致指标不可比较。

防止预处理与特征泄漏

归一化、缺失值填充、类别编码、特征选择和降维都必须只在训练集上拟合,再将已经确定的变换应用到验证集和测试集。先对全量数据计算均值、词表或主成分,即使没有使用标签,也会把评估数据的信息带入模型。

特征构造还要检查时间可用性。例如预测订单是否退款时,“退款完成时间”“最终状态”或事后人工标签在预测时尚不存在,属于目标泄漏。判断一个特征能否使用,应问:模型做出预测的那个时刻,系统是否已经真实获得该字段。

建立交付前检查表

  • 同一业务实体是否跨越训练、验证和测试集合
  • 测试集时间是否真正晚于训练数据,且没有未来特征回流
  • 所有预处理器是否只在训练集上执行 fit
  • 测试集是否只在最终方案确定后使用一次
  • 去重是否在划分前完成,并覆盖近重复样本

当线上数据分布会持续变化时,还应保存划分时间边界和数据版本。这样出现指标下降时,才能区分模型退化、数据漂移和评估口径变化。

本课总结

  • 数据划分首先服从业务实体关系和时间因果关系,而不是固定比例
  • 验证集负责选择方案,测试集只负责最终无偏评估
  • 泄漏不仅来自重复样本,也可能来自未来字段和全量预处理统计量

下一课预告

下一课将进入正则化方法,比较权重衰减、Dropout 与早停分别约束什么问题,以及它们应如何组合使用。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

数据集划分与泄漏防范

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通