大模型原理与训练 / 系统课时

降低灾难性遗忘与过拟合

降低灾难性遗忘与过拟合

这一节解决两个常见失败:模型在领域数据上越来越会答,却把通用能力忘掉;或者训练 loss 持续下降,但验证集已经转坏。目标是用更小学习率、受控训练轮数、数据混合、双验证集监控和早停,把领域收益限制在可接受的基础能力回退范围内。

学习目标

  • 区分过拟合与灾难性遗忘,并用不同指标发现它们
  • 通过学习率、轮数和通用回放数据降低能力漂移
  • 用领域验证集与通用回归集共同决定是否继续训练

用两类验证信号判断问题

只看训练 loss 无法判断模型是否真的变好。至少保留两组评测:领域验证集检查目标任务是否提升,通用回归集检查基础能力是否明显下降。前者转坏通常指向过拟合;前者提升而后者持续下跌,更像灾难性遗忘。

建议把每个 checkpoint 的结果记录成同一张小表,并始终使用相同样本、解码参数和评分方式。

checkpoint domain score general score 判断
base 72.0 81.0 基线
step-200 78.5 80.4 可接受
step-400 79.1 76.8 领域继续涨,但遗忘明显

这里的数值仅用于说明判断方法,不代表任何模型的真实成绩。真正的阈值应由业务容忍度决定,例如要求领域指标提升的同时,通用回归集下降不超过预先定义的百分点。

领域收益与通用能力回退的检查点选择图

先收紧训练强度

全参数微调比 LoRA 更容易让模型整体权重发生漂移,因此学习率通常应更保守,训练轮数也不宜机械拉长。若领域验证集在前几百步已经达到平台期,继续训练只会增加过拟合与遗忘风险。

调整顺序建议保持稳定:先降低学习率,再减少总训练步数或 epoch;若领域数据很窄,再加入通用回放样本。不要同时大幅修改多个变量,否则无法判断是哪项改变带来了改善。

混入通用回放并启用早停

下面是片段示例,依赖一个已经创建好的 model、tokenizer,以及完成相同 token 化处理的 domain_train、general_replay 和 domain_valid。它展示两件事:训练时以 0.8/0.2 的抽样概率混合领域数据与通用回放数据;Trainer 根据领域验证集 eval_loss 在连续多次无改善后提前停止。

python
from datasets import interleave_datasets
from transformers import EarlyStoppingCallback, Trainer, TrainingArguments

mixed_train = interleave_datasets(
    [domain_train, general_replay],
    probabilities=[0.8, 0.2],
    seed=42,
    stopping_strategy="all_exhausted",
).shuffle(seed=42)

args = TrainingArguments(
    output_dir="<PATH>/full-sft-guarded",
    learning_rate=5e-6,
    num_train_epochs=3,
    per_device_train_batch_size=1,
    gradient_accumulation_steps=16,
    eval_strategy="steps",
    eval_steps=100,
    save_strategy="steps",
    save_steps=100,
    load_best_model_at_end=True,
    metric_for_best_model="eval_loss",
    greater_is_better=False,
    save_total_limit=3,
    report_to="none",
)

trainer = Trainer(
    model=model,
    args=args,
    train_dataset=mixed_train,
    eval_dataset=domain_valid,
    processing_class=tokenizer,
    callbacks=[EarlyStoppingCallback(early_stopping_patience=2)],
)

这段配置生效后,训练会在每 100 步验证一次,并把领域验证集 loss 作为“是否继续”的主要信号;连续两个评估周期无改善时触发早停。probabilities 表示抽样概率,在 all_exhausted 策略下不等同于最终样本数严格 8:2。这个比例不是固定答案,应通过领域收益与通用回归结果共同调整,而不是只追求更低的训练 loss。

把通用回归集设成硬门槛

早停只能阻止领域验证指标继续恶化,却不能自动保护通用能力。因此每个候选 checkpoint 还要跑同一套通用回归样本,并设置硬门槛。例如领域分数至少提升 4 分,同时通用分数下降不得超过 1 分;不满足就回退到更早的 checkpoint,或者降低学习率、增加通用回放比例后重训。

什么时候应该停止继续拟合

出现以下信号时,应优先停止而不是继续堆 epoch:领域验证 loss 连续恶化;领域分数几乎不再提升;通用回归集持续跨过容忍阈值;不同随机种子的结果开始剧烈波动。此时继续训练通常不会带来稳定收益。

降低灾难性遗忘的关键不是某一个参数,而是建立双目标约束:领域能力要提升,通用能力又不能跌出护栏。学习率、训练时长和数据混合负责控制漂移幅度,验证集、回归集与早停负责在漂移失控之前把训练停下来。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

降低灾难性遗忘与过拟合

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通