计算机视觉 / 系统课时
迭代困难样本
迭代困难样本
本课把线上和测试阶段发现的困难样本转化为可验证的模型改进:完成收集、筛选、重新标注、数据合并、增量训练和回归评估,形成一轮可追踪的闭环。
学习目标
- 能定义并收集有价值的困难样本
- 能在不破坏原有能力的前提下组织增量训练数据
- 能用固定回归集判断本轮迭代是否真正有效
明确困难样本范围
困难样本不是所有预测错误的简单集合,而是能够代表稳定问题模式的样本,例如夜间小目标、强反光、严重遮挡、相似类别、罕见姿态和业务高风险误检。应保存原图、预测结果、模型版本、推理参数、来源场景和错误类型,便于复现。
收集后先去重并按场景分组。连续视频中的相邻帧高度相似,全部加入训练会造成数据偏置;可按时间间隔抽帧,或使用感知哈希筛除近重复图片。涉及隐私或敏感信息时,应在进入标注流程前完成脱敏。
重新标注并控制数据比例
困难样本应按现有标注规范重新审核,尤其检查漏标、类别边界和框选尺度。仅把困难样本追加到训练集可能使模型过度适应局部场景,因此通常要与原有代表性样本混合,并保留完全不参与训练的固定回归集。
建议将新困难样本划分为训练、验证和回归三部分。相同视频、同一拍摄点或同一事件的近似样本必须放在同一分组,避免画面泄漏导致评估结果虚高。

从基线权重增量训练
先复制并更新数据集配置,使 train 指向“原训练数据 + 困难样本训练集”,val 指向本轮验证集。固定回归集不要写入训练配置,避免模型直接见到验收样本。
下面从基线最佳权重继续训练 30 个 epoch,并在训练后对固定回归集执行验证。路径需按项目实际目录修改。
yolo detect train model=runs/detect/baseline/weights/best.pt data=data_v2.yaml epochs=30 imgsz=640 batch=16 lr0=0.001 close_mosaic=10 project=runs/detect name=hard-v2 exist_ok=True
yolo detect val model=runs/detect/hard-v2/weights/best.pt data=data_regression.yaml split=val imgsz=640 conf=0.001 iou=0.7 plots=True project=runs/regression name=hard-v2 exist_ok=True预期输出
30 epochs completed in <TIME>.
Results saved to runs/detect/hard-v2
Class Images Instances Box(P R mAP50 mAP50-95)
all <N> <N> <P> <R> <MAP50> <MAP50_95>
Results saved to runs/regression/hard-v2实际训练时间和指标会随硬件、数据量与模型规模变化。若显存不足,应先降低 batch,不要同时修改多项关键参数,否则难以判断效果变化来源。
比较改进而不是只看总分
验收必须同时比较基线模型与新模型。整体 mAP 只能说明平均表现,不能替代困难场景指标。应分别统计困难样本召回率、关键类别精确率、误检数量、漏检数量和原稳定场景是否退化。
一次迭代可采用以下通过条件:困难样本漏检明显下降;关键类别误检不增加;固定回归集的主要指标不低于基线容忍范围;推理速度和显存仍满足部署要求。若只在新样本上提升而旧场景明显下降,应降低困难样本占比、补回代表性旧数据或减小学习率。
固化版本与回滚信息
通过验收后,保存数据集版本、标注版本、训练命令、权重文件、指标报告和变更说明。模型名称应能关联数据版本与实验编号,发布前保留上一版权重和推理参数,确保出现异常时可以快速回滚。
困难样本库也要持续维护。已经解决的问题不必永久高比例重复加入训练,但应保留代表样本进入固定回归集,用来防止后续版本再次出现同类缺陷。