高等数学 / 系统课时

分析训练失败案例

分析训练失败案例

模型训练失败时,盲目更换优化器或重复调参很难找到根因。本课建立一条从数值异常到学习率、梯度和激活分布的排查链,并用可运行脚本把日志指标转换为具体修复方向。

学习目标

  • 按稳定顺序检查训练失败信号
  • 根据学习率、梯度范数和激活范围推断根因
  • 使用修复前后对照验证问题是否真正解决

建立排查顺序

排查应从最确定、最致命的信号开始。先确认损失、梯度和激活中是否出现 NaN 或 Inf;再观察参数相对更新量是否过大;随后检查梯度是爆炸、消失还是持续震荡;最后定位到具体层的激活分布和输入范围。参数相对更新量可按实际更新前后的差计算。

r=∥θt+1−θt∥2max⁡(∥θt∥2,ε)r=\frac{\|\theta_{t+1}-\theta_t\|_2}{\max(\|\theta_t\|_2,\varepsilon)}

ε>0\varepsilon>0 防止除零。只有在没有动量、裁剪、权重衰减等其他项的普通 SGD 中,更新分子才直接等于 η∥g∥2\eta\|g\|_2。若参数范数接近零,还应查看绝对更新量,因为此时相对量对分母很敏感。

训练失败排查流程

四类信号如何对应根因

观察信号 常见表现 优先检查
学习率或相对更新量过大 损失剧烈震荡,训练刚开始就恶化 降低学习率、增加预热、核对损失缩放
梯度范数持续增大 参数迅速发散,随后出现 Inf 初始化、深层连乘、除法和指数运算
梯度范数长期接近零 损失几乎不变,前层参数不更新 饱和激活、过深链路、错误的停止梯度
激活范围异常 某层输出极大、全零或集中在边界 输入标准化、激活函数、归一化层位置

梯度裁剪限制传入优化器的梯度范数。实际更新还可能受到动量、自适应缩放等因素影响。它适合作为保护措施,但仍要继续追踪第一个出现异常的层。

完整诊断示例

下面的脚本接收训练快照,并按照固定优先级输出诊断。示例阈值用于演示,实际项目应根据模型规模和正常训练区间校准。

python
from dataclasses import dataclass
import math

@dataclass
class Snapshot:
    epoch: int
    loss: float
    learning_rate: float
    grad_norm: float
    parameter_norm: float
    activation_abs_max: float
    update_norm: float

def diagnose(snapshot: Snapshot) -> list[str]:
    values = (
        snapshot.loss,
        snapshot.grad_norm,
        snapshot.parameter_norm,
        snapshot.activation_abs_max,
        snapshot.learning_rate,
        snapshot.update_norm,
    )

    # 非有限值优先级最高,后续比例计算已经失去意义
    if not all(math.isfinite(value) for value in values):
        return ["出现 NaN/Inf:先排查溢出、除零和无效对数"]

    if any(value < 0 for value in values[1:]):
        raise ValueError("norms and learning rate must be nonnegative")

    issues: list[str] = []
    update_ratio = snapshot.update_norm / max(snapshot.parameter_norm, 1e-12)

    if snapshot.activation_abs_max > 1e4:
        issues.append(
            f"激活绝对值上限 {snapshot.activation_abs_max:.3e}:激活范围异常"
        )
    if snapshot.grad_norm > 100:
        issues.append(f"梯度范数 {snapshot.grad_norm:.3e}:可能发生梯度爆炸")
    if update_ratio > 0.1:
        issues.append(f"参数相对更新量 {update_ratio:.3e}:核对实际步长")
    if snapshot.grad_norm > 1e-8 and snapshot.update_norm == 0:
        issues.append("梯度非零但更新为零:核对优化器是否执行")

    return issues or ["当前快照未发现明显数值异常"]

def main() -> None:
    snapshots = [
        Snapshot(1, 2.30, 0.5, 8.0, 2.0, 12.0, 4.0),
        Snapshot(2, 6.80, 0.5, 120.0, 2.0, 1e5, 60.0),
        Snapshot(3, float("inf"), 0.5, float("inf"), 2.0, float("inf"), 0.0),
        Snapshot(4, 2.30, 0.5, 8.0, 2.0, 12.0, 0.0),
    ]

    for snapshot in snapshots:
        print(f"Epoch {snapshot.epoch}")
        for issue in diagnose(snapshot):
            print(f"  - {issue}")

if __name__ == "__main__":
    main()

预期输出

text
Epoch 1
  - 参数相对更新量 2.000e+00:核对实际步长
Epoch 2
  - 激活绝对值上限 1.000e+05:激活范围异常
  - 梯度范数 1.200e+02:可能发生梯度爆炸
  - 参数相对更新量 3.000e+01:核对实际步长
Epoch 3
  - 出现 NaN/Inf:先排查溢出、除零和无效对数
Epoch 4
  - 梯度非零但更新为零:核对优化器是否执行

这段程序不替代框架监控,而是演示如何把训练日志转成稳定的判断顺序。真实项目还应记录每层梯度、激活均值与方差,并保留首次失败的批次和随机种子。

从根因到修复

学习率过高时,先降低一个数量级并观察相对更新量是否回到稳定区间,再考虑预热或调度器。若只有个别批次突然爆炸,应检查异常样本、除零、log(0)、过大的指数输入和损失归一化方式。

激活饱和时,应查看问题是否集中在 sigmoid 或 tanh 的大绝对值区域,并检查初始化与输入标准化。梯度持续增大时,可临时启用裁剪保护训练,同时继续定位最先放大的层;梯度接近零时,则应检查停止梯度、错误掩码和过深的饱和链路。

混合精度训练出现非有限值时,还要确认损失缩放是否动态调整,并在关键归约、Softmax、对数和方差计算中保留更高精度。修复动作一次只改一类变量,否则无法确认真正原因。

验证修复是否有效

修复后至少使用同一批数据、同一随机种子和相同初始参数重复短训练。验收不只看损失下降,还要确认损失始终有限、梯度范数不再出现尖峰、参数相对更新量稳定,并且各层激活没有持续扩大或全部塌缩。

若异常只是延迟出现,应保留失败批次继续定位。验收时可用原失败批次做回归检查,再扩大观察步数和数据覆盖,记录是否还触发原异常。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分析训练失败案例

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通