机器学习与深度学习 / 系统课时
识别欠拟合与过拟合
识别欠拟合与过拟合
本课解决一个直接问题:训练进行到什么程度时应该继续训练、修改模型,还是立即停止。你将学会联合观察训练集与验证集曲线,区分欠拟合、正常收敛和过拟合,并按原因选择下一步动作。
学习目标
- 根据训练损失与验证损失的变化识别三种典型训练状态
- 区分模型容量不足、训练不足、数据不足与泛化下降
- 用简单代码把曲线特征转换成可执行的诊断结论
从两条曲线判断训练状态
训练集指标反映模型对已见样本的拟合程度,验证集指标反映模型对未参与参数更新的数据的表现。判断时不能只看某个最终数值,而要同时观察两条曲线的方向、差距和拐点。

当训练损失和验证损失都较高,并且下降缓慢或很早停止下降,通常是欠拟合。若两者持续下降且差距较小,模型仍处于有效学习阶段。若训练损失继续下降,而验证损失先下降后上升,两者差距不断扩大,则说明泛化能力开始下降。
三种典型模式
| 状态 | 曲线特征 | 常见原因 | 优先动作 |
|---|---|---|---|
| 欠拟合 | 训练和验证指标都差 | 模型过小、特征不足、训练轮数少、学习率不合适 | 增加容量、延长训练、改进特征或调学习率 |
| 正常收敛 | 两条曲线同步改善且差距可控 | 容量与数据基本匹配 | 继续训练并保存最佳验证检查点 |
| 过拟合 | 训练指标继续改善,验证指标恶化 | 数据少、模型过大、训练过久、正则不足 | 早停、数据增强、权重衰减或减小模型 |
验证集表现变差并不自动等于“模型太大”。训练集与验证集的预处理不一致、标签噪声、数据泄漏或验证集规模过小,也会制造异常曲线,因此曲线判断是定位入口,不是最终根因。
用代码生成诊断结论
下面的完整示例根据最近若干轮的损失趋势给出初步诊断。它不能替代人工分析,但适合放进训练脚本中做自动提醒。
python
from statistics import mean
def diagnose(train_losses: list[float], val_losses: list[float]) -> str:
if len(train_losses) != len(val_losses) or len(train_losses) < 4:
raise ValueError("两组损失必须等长且至少包含 4 个 epoch")
recent_train = mean(train_losses[-2:])
recent_val = mean(val_losses[-2:])
train_improved = train_losses[-1] < train_losses[-3]
val_worsened = val_losses[-1] > min(val_losses[:-1])
gap = recent_val - recent_train
# 训练和验证都停留在较高水平,优先判断为欠拟合
if recent_train > 0.8 and recent_val > 0.8:
return "欠拟合:优先检查模型容量、特征、训练轮数和学习率"
# 训练继续改善,但验证已越过最佳点并出现明显差距
if train_improved and val_worsened and gap > 0.2:
return "过拟合:恢复最佳检查点,并考虑早停、正则化或数据增强"
return "正常收敛或尚无明确异常:继续观察更多 epoch"
def main() -> None:
cases = {
"案例 A": ([1.20, 1.05, 0.98, 0.92], [1.25, 1.10, 1.02, 0.97]),
"案例 B": ([0.90, 0.60, 0.38, 0.24], [0.95, 0.62, 0.43, 0.31]),
"案例 C": ([0.70, 0.42, 0.25, 0.16], [0.74, 0.48, 0.46, 0.58]),
}
for name, (train_losses, val_losses) in cases.items():
print(f"{name}: {diagnose(train_losses, val_losses)}")
if __name__ == "__main__":
main()预期输出:
text
案例 A: 欠拟合:优先检查模型容量、特征、训练轮数和学习率
案例 B: 正常收敛或尚无明确异常:继续观察更多 epoch
案例 C: 过拟合:恢复最佳检查点,并考虑早停、正则化或数据增强示例中的数值阈值只用于演示,真实项目应根据损失量纲调整,并同时记录准确率或任务主指标,保存验证指标最优时的模型。动态的训练时间、检查点路径和 epoch 编号可以分别记为 <TIME>、<PATH> 和 <ID>,实际值会随运行而变化。
避免曲线误判
数据增强会让训练样本更难,因此训练损失可能长期高于验证损失,这不一定是错误。Dropout 在训练阶段开启、验证阶段关闭,也可能造成类似现象;验证前必须调用 model.eval()。
若训练集与验证集使用了不同的损失计算方式,曲线便不能直接比较。还要确认验证过程中没有执行反向传播,并使用固定的数据划分,否则每轮验证样本变化会掩盖真实趋势。
推荐的定位顺序
- 确认训练与验证的数据处理、损失函数和指标定义一致。
- 找出验证指标最佳的 epoch,而不是只看最后一轮。
- 若两边都差,先解决欠拟合;若训练好而验证差,再处理泛化问题。
- 每次只改变一个主要变量,并保留曲线与配置,避免同时修改多个因素后无法归因。
按自己的节奏,确认真正理解。