机器学习与深度学习 / 系统课时

识别欠拟合与过拟合

识别欠拟合与过拟合

本课解决一个直接问题:训练进行到什么程度时应该继续训练、修改模型,还是立即停止。你将学会联合观察训练集与验证集曲线,区分欠拟合、正常收敛和过拟合,并按原因选择下一步动作。

学习目标

  • 根据训练损失与验证损失的变化识别三种典型训练状态
  • 区分模型容量不足、训练不足、数据不足与泛化下降
  • 用简单代码把曲线特征转换成可执行的诊断结论

从两条曲线判断训练状态

训练集指标反映模型对已见样本的拟合程度,验证集指标反映模型对未参与参数更新的数据的表现。判断时不能只看某个最终数值,而要同时观察两条曲线的方向、差距和拐点。

训练集与验证集曲线的三种典型形态

当训练损失和验证损失都较高,并且下降缓慢或很早停止下降,通常是欠拟合。若两者持续下降且差距较小,模型仍处于有效学习阶段。若训练损失继续下降,而验证损失先下降后上升,两者差距不断扩大,则说明泛化能力开始下降。

三种典型模式

状态 曲线特征 常见原因 优先动作
欠拟合 训练和验证指标都差 模型过小、特征不足、训练轮数少、学习率不合适 增加容量、延长训练、改进特征或调学习率
正常收敛 两条曲线同步改善且差距可控 容量与数据基本匹配 继续训练并保存最佳验证检查点
过拟合 训练指标继续改善,验证指标恶化 数据少、模型过大、训练过久、正则不足 早停、数据增强、权重衰减或减小模型

验证集表现变差并不自动等于“模型太大”。训练集与验证集的预处理不一致、标签噪声、数据泄漏或验证集规模过小,也会制造异常曲线,因此曲线判断是定位入口,不是最终根因。

用代码生成诊断结论

下面的完整示例根据最近若干轮的损失趋势给出初步诊断。它不能替代人工分析,但适合放进训练脚本中做自动提醒。

python
from statistics import mean

def diagnose(train_losses: list[float], val_losses: list[float]) -> str:
    if len(train_losses) != len(val_losses) or len(train_losses) < 4:
        raise ValueError("两组损失必须等长且至少包含 4 个 epoch")

    recent_train = mean(train_losses[-2:])
    recent_val = mean(val_losses[-2:])
    train_improved = train_losses[-1] < train_losses[-3]
    val_worsened = val_losses[-1] > min(val_losses[:-1])
    gap = recent_val - recent_train

    # 训练和验证都停留在较高水平,优先判断为欠拟合
    if recent_train > 0.8 and recent_val > 0.8:
        return "欠拟合:优先检查模型容量、特征、训练轮数和学习率"

    # 训练继续改善,但验证已越过最佳点并出现明显差距
    if train_improved and val_worsened and gap > 0.2:
        return "过拟合:恢复最佳检查点,并考虑早停、正则化或数据增强"

    return "正常收敛或尚无明确异常:继续观察更多 epoch"

def main() -> None:
    cases = {
        "案例 A": ([1.20, 1.05, 0.98, 0.92], [1.25, 1.10, 1.02, 0.97]),
        "案例 B": ([0.90, 0.60, 0.38, 0.24], [0.95, 0.62, 0.43, 0.31]),
        "案例 C": ([0.70, 0.42, 0.25, 0.16], [0.74, 0.48, 0.46, 0.58]),
    }

    for name, (train_losses, val_losses) in cases.items():
        print(f"{name}: {diagnose(train_losses, val_losses)}")

if __name__ == "__main__":
    main()

预期输出:

text
案例 A: 欠拟合:优先检查模型容量、特征、训练轮数和学习率
案例 B: 正常收敛或尚无明确异常:继续观察更多 epoch
案例 C: 过拟合:恢复最佳检查点,并考虑早停、正则化或数据增强

示例中的数值阈值只用于演示,真实项目应根据损失量纲调整,并同时记录准确率或任务主指标,保存验证指标最优时的模型。动态的训练时间、检查点路径和 epoch 编号可以分别记为 <TIME>、<PATH> 和 <ID>,实际值会随运行而变化。

避免曲线误判

数据增强会让训练样本更难,因此训练损失可能长期高于验证损失,这不一定是错误。Dropout 在训练阶段开启、验证阶段关闭,也可能造成类似现象;验证前必须调用 model.eval()。

若训练集与验证集使用了不同的损失计算方式,曲线便不能直接比较。还要确认验证过程中没有执行反向传播,并使用固定的数据划分,否则每轮验证样本变化会掩盖真实趋势。

推荐的定位顺序

  1. 确认训练与验证的数据处理、损失函数和指标定义一致。
  2. 找出验证指标最佳的 epoch,而不是只看最后一轮。
  3. 若两边都差,先解决欠拟合;若训练好而验证差,再处理泛化问题。
  4. 每次只改变一个主要变量,并保留曲线与配置,避免同时修改多个因素后无法归因。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

识别欠拟合与过拟合

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通