机器学习与深度学习 / 系统课时
理解训练验证测试集
理解训练验证测试集
学习目标
- 明确训练集、验证集和测试集的职责
- 使用分层划分保持类别比例
- 避免测试集参与模型开发
三部分数据各做什么
训练集用于拟合模型参数,例如线性模型系数和树的分裂规则。验证集用于选择算法、特征、超参数和分类阈值。测试集只在方案完全确定后使用一次,用来估计最终泛化能力。
如果反复根据测试结果修改方案,测试集就变成了验证集,最终分数会对这批数据过拟合。
完成一次分层划分
python
from collections import Counter
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
X, y = load_breast_cancer(return_X_y=True)
X_train_val, X_test, y_train_val, y_test = train_test_split(
X, y,
test_size=0.20,
stratify=y,
random_state=42,
)
X_train, X_val, y_train, y_val = train_test_split(
X_train_val, y_train_val,
test_size=0.25,
stratify=y_train_val,
random_state=42,
)
print("训练集:", X_train.shape, Counter(y_train))
print("验证集:", X_val.shape, Counter(y_val))
print("测试集:", X_test.shape, Counter(y_test))预期结果:
text
训练集约占 60%,验证集约占 20%,测试集约占 20%。
三部分的类别比例与原始数据大致一致。第二次划分的 25% 是从剩余 80% 中取出,因此占全量数据约 20%。
何时使用交叉验证
数据量较小时,单个验证集可能让结果受偶然划分影响。可以保留独立测试集,在训练集内部使用交叉验证完成参数选择。这样每个样本可在不同折中参与训练和验证,性能估计更稳定。测试集仍然不能进入交叉验证。
时间与分组数据的特殊划分
时间序列应按时间先后划分,用过去训练、未来验证,不能随机打乱。一个用户、设备或患者产生多条记录时,应按实体分组,避免同一实体同时出现在训练和测试中。
划分策略必须模拟真实上线场景。错误划分会让离线结果虚高,即使模型代码完全正确。
划分验收
划分完成后应保存样本主键清单或划分标记,并检查三部分是否存在重复实体、重复记录和时间穿越。类别比例相近只是最低要求;还要比较关键特征分布,避免某一批次或渠道只出现在测试集。
按自己的节奏,确认真正理解。