机器学习与深度学习 / 系统课时

认识过拟合与欠拟合

认识过拟合与欠拟合

模型在训练集上表现好,并不代表它遇到新数据也能做对。判断模型是否真正学到了可泛化规律,需要同时观察训练集和验证集:两边都差通常是欠拟合,训练很好而验证明显变差则通常是过拟合。本篇用具体曲线和数值建立判断方法。

学习目标

  • 根据训练损失和验证损失识别欠拟合、正常拟合与过拟合
  • 使用泛化差距和最佳验证轮次判断训练是否应该继续
  • 针对两类问题选择可验证的调整措施,而不是盲目增加训练轮数

同时看训练集和验证集

训练集用于更新参数,验证集只用于评估泛化表现。判断模型状态时至少要同时记录 train_loss 与 val_loss,分类任务还可以记录准确率等指标。

状态 训练表现 验证表现 典型判断
欠拟合 损失高、准确率低 同样较差 模型尚未把训练数据学好
合理拟合 训练较好 略差于训练但稳定 存在正常泛化差距
过拟合 持续改善 先改善后恶化 模型越来越依赖训练数据细节

例如训练准确率只有 68%,验证准确率为 66%,两边都低,首先应怀疑欠拟合;如果训练准确率达到 98%,验证准确率只有 84%,泛化差距达到 14 个百分点,就应重点检查过拟合。

欠拟合正常拟合与过拟合的训练验证曲线对比

欠拟合意味着训练数据都没学好

欠拟合时,优先解决训练集表现,而不是先加更多正则化。假设一个图像分类器训练 5 个 epoch 后,训练准确率只有 61%,验证准确率 59%,两者只差 2 个百分点,但都明显低于业务要求的 90%,这属于典型欠拟合。

可按一次只改一个变量的顺序处理:

  1. 先把训练轮数从 5 增加到 20 或 30,观察训练损失是否仍明显下降。
  2. 如果训练损失很早就停在高位,再增加模型容量,例如把隐藏层宽度从 32 提高到 128。
  3. 如果使用了较强正则化,可将 weight_decay 从 1e-2 降到 1e-4 做对照实验。
  4. 检查输入与标签本身,确认归一化、类别编号和损失函数搭配正确。

如果增加训练轮数后训练准确率从 61% 提升到 92%,而验证准确率同步达到 89%,说明原问题主要是训练不足,而不是模型结构必须重做。

过拟合意味着泛化开始退化

过拟合通常不是“验证指标完全不涨”,而是验证指标先改善,随后训练集继续变好、验证集却开始变差。下面是一组常见训练记录:

Epoch Train Loss Val Loss Train Accuracy Val Accuracy
1 0.82 0.88 65% 63%
5 0.43 0.50 83% 80%
10 0.27 0.38 91% 87%
15 0.18 0.46 96% 85%
20 0.12 0.61 98% 81%

这里第 10 个 epoch 的验证损失最低,之后训练损失继续下降,但验证损失从 0.38 升到 0.61。继续训练到第 20 个 epoch 并没有得到更好的模型,因此模型检查点应优先保留第 10 个 epoch 左右的权重。

常用修正包括把 Dropout 设为 p=0.2~0.5 做实验、给 AdamW 设置例如 weight_decay=1e-4、增加训练数据或只对训练集执行数据增强,以及使用 early stopping。若采用 early stopping,可从 patience=5 开始:验证指标连续 5 个 epoch 没有刷新最佳值时停止训练。

排除数据与评估流程造成的假象

看到训练与验证差距后,不要立即修改模型。数据泄漏、验证阶段仍启用训练行为、训练集与验证集分布差异过大,都可能制造类似过拟合的现象。

一个可执行的检查顺序是:

  1. 先按样本主体划分数据,例如 70% 训练、15% 验证、15% 测试;同一用户、同一患者或同一视频切出的相邻帧不要跨集合。
  2. 数据增强只作用于训练集。验证集应使用确定性的 resize、归一化等预处理,不能随机裁剪到每次结果都不同。
  3. 验证前调用 model.eval(),保证 Dropout 关闭且 BatchNorm 使用已统计的运行均值;验证完成后再切回 model.train()。
  4. 最终测试集不要参与学习率选择、epoch 选择或结构调参,只在方案确定后用于一次独立评估。

如果训练准确率 98%、验证准确率 84%,但检查后发现训练集和验证集来自完全不同的数据采集设备,那么这 14 个百分点的差距不能简单归因于模型容量。先修正数据划分或明确跨域评估目标,再决定是否增加正则化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

认识过拟合与欠拟合

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通