计算机视觉 / 系统课时

排查显存与训练中断

排查显存与训练中断

YOLO 训练突然停止时,最常见的问题集中在显存不足、数据加载异常和进程被意外中断。有效排障的关键不是反复重跑,而是先根据报错位置判断故障类型,再用最小改动恢复训练,并确认恢复后的配置与原实验一致。

学习目标

  • 按固定顺序区分显存、数据加载和进程中断问题。
  • 用 batch、图像尺寸和 workers 等参数降低故障概率。
  • 正确使用 last.pt 恢复训练,并验证恢复状态。

先根据报错位置分类

训练中断可以先看最后几十行日志。如果报错包含 CUDA out of memory,优先处理显存;如果出现图片读取失败、标注解析错误或 DataLoader worker 异常,先检查数据和加载进程;如果没有模型层面的异常,而是终端断开、机器重启或作业被调度器终止,则应转向恢复训练。

YOLO 训练中断排查流程

分类以后一次只改一个变量。否则把 batch、imgsz、workers 和缓存策略同时修改,即使恢复成功,也无法判断真正的故障原因。

处理显存不足

先确认 GPU 是否被其他进程占用,以及当前训练已经使用了多少显存。下面的查询不会修改系统状态。

bash
nvidia-smi --query-gpu=name,memory.total,memory.used,memory.free --format=csv

预期输出

text
name, memory.total [MiB], memory.used [MiB], memory.free [MiB]
<GPU_NAME>, <VALUE> MiB, <VALUE> MiB, <VALUE> MiB

如果确认是训练本身触发 OOM,优先减小 batch。例如从 16 降到 8;仍然不足时再降低 imgsz。这两个参数都会直接影响单步显存需求。

bash
yolo detect train \
  model=yolo11n.pt \
  data=data/dataset-v3.yaml \
  epochs=100 \
  imgsz=640 \
  batch=8 \
  project=runs/experiments \
  name=oom-retry

预期结果

text
训练能够进入首个 epoch,不再立即出现 CUDA out of memory。
实际每轮耗时、显存占用和日志字段会因 GPU、数据规模和版本而不同。

定位数据加载异常

DataLoader 报错不一定说明 GPU 有问题。常见根因包括损坏图片、标注格式错误、路径不存在,以及多进程加载在当前系统环境中不稳定。定位时先把 workers 降到 0,让数据在主进程中读取,错误通常会更接近真正的坏样本。

bash
yolo detect train \
  model=yolo11n.pt \
  data=data/dataset-v3.yaml \
  epochs=1 \
  imgsz=640 \
  batch=4 \
  workers=0 \
  cache=False \
  project=runs/diagnostics \
  name=dataloader-check

预期结果

text
若数据可正常读取,训练会进入 1 个诊断 epoch。
若仍失败,日志通常会直接指向无法读取的文件、路径或标注问题,应按实际报错修复对应样本。

这里把 epochs 设为 1 是为了缩短诊断时间,而不是正式训练配置。确认数据读取正常后,再恢复原实验的 epoch、batch 和 workers。

从中断权重恢复训练

对于终端断开、机器重启或作业被停止等情况,不要直接拿 best.pt 重新开始一个新实验。恢复训练应优先使用原运行目录中的 weights/last.pt,因为其中保存的是最后训练状态。

bash
yolo detect train \
  resume \
  model=runs/experiments/<RUN_NAME>/weights/last.pt

预期结果

text
训练从已有运行状态继续,而不是从第 1 个 epoch 重新初始化。
恢复的起始 epoch 与剩余轮数应以实际训练日志为准。

如果 last.pt 不存在,先检查是否指错了运行目录,或中断是否发生在首次保存权重之前。不要为了“继续跑”随意换成另一次实验的权重,否则原有实验记录会失去可追溯性。

验证恢复是否可信

恢复成功不等于问题已经解决。重新训练后至少观察首个 epoch 是否稳定通过、显存是否维持在可接受范围、数据加载是否继续报错,以及指标是否出现明显断层。

如果为了排障修改了 batch、imgsz 或数据版本,应把它记录成新的实验,而不是悄悄覆盖原运行目录。真正可靠的恢复流程是:先定位故障,做最小修复,再验证训练状态,最后把变化写入实验记录。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查显存与训练中断

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通