机器学习与深度学习 / 系统课时

理解训练验证测试集

理解训练验证测试集

学习目标

  • 明确训练集、验证集和测试集的职责
  • 使用分层划分保持类别比例
  • 避免测试集参与模型开发

三部分数据各做什么

训练集用于拟合模型参数,例如线性模型系数和树的分裂规则。验证集用于选择算法、特征、超参数和分类阈值。测试集只在方案完全确定后使用一次,用来估计最终泛化能力。

如果反复根据测试结果修改方案,测试集就变成了验证集,最终分数会对这批数据过拟合。

完成一次分层划分

python
from collections import Counter
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

X, y = load_breast_cancer(return_X_y=True)

X_train_val, X_test, y_train_val, y_test = train_test_split(
    X, y,
    test_size=0.20,
    stratify=y,
    random_state=42,
)
X_train, X_val, y_train, y_val = train_test_split(
    X_train_val, y_train_val,
    test_size=0.25,
    stratify=y_train_val,
    random_state=42,
)

print("训练集:", X_train.shape, Counter(y_train))
print("验证集:", X_val.shape, Counter(y_val))
print("测试集:", X_test.shape, Counter(y_test))

预期结果:

text
训练集约占 60%,验证集约占 20%,测试集约占 20%。
三部分的类别比例与原始数据大致一致。

第二次划分的 25% 是从剩余 80% 中取出,因此占全量数据约 20%。

何时使用交叉验证

数据量较小时,单个验证集可能让结果受偶然划分影响。可以保留独立测试集,在训练集内部使用交叉验证完成参数选择。这样每个样本可在不同折中参与训练和验证,性能估计更稳定。测试集仍然不能进入交叉验证。

时间与分组数据的特殊划分

时间序列应按时间先后划分,用过去训练、未来验证,不能随机打乱。一个用户、设备或患者产生多条记录时,应按实体分组,避免同一实体同时出现在训练和测试中。

划分策略必须模拟真实上线场景。错误划分会让离线结果虚高,即使模型代码完全正确。

划分验收

划分完成后应保存样本主键清单或划分标记,并检查三部分是否存在重复实体、重复记录和时间穿越。类别比例相近只是最低要求;还要比较关键特征分布,避免某一批次或渠道只出现在测试集。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解训练验证测试集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通