计算机视觉 / 系统课时
处理类别不平衡
处理类别不平衡
类别不平衡会让 YOLO 更容易“照顾”样本多的类别,而稀有类别即使总体 mAP 看起来不错,也可能持续漏检。本节从量化失衡开始,依次决定是否补采、重采样或增强,并用按类别指标验证调整是否真的有效。
学习目标
- 统计训练集各类别实例数,识别头部类别与稀有类别
- 根据数据缺口选择补采、重采样或增强,而不是盲目复制样本
- 使用按类别的 Precision、Recall 与 mAP 验证优化效果
先量化失衡程度
目标检测更应该看“目标实例数”,而不是只数图片数:一张图里可能同时有多个类别,也可能含有多个同类目标。可以先扫描 YOLO 标签目录,统计每个类别出现的实例数量,并计算它相对最多类别的差距。
下面程序读取 labels/train 下的 YOLO .txt 标签。将 <PATH> 替换为数据集根目录后即可运行;每行第一个字段是类别 ID,其余坐标不会参与统计。
from collections import Counter
from pathlib import Path
label_dir = Path("<PATH>/labels/train")
class_names = ["person", "helmet", "vest"]
counts = Counter()
for label_file in label_dir.rglob("*.txt"):
for line in label_file.read_text(encoding="utf-8").splitlines():
if not line.strip():
continue
class_id = int(line.split()[0])
counts[class_id] += 1
max_count = max(counts.values(), default=0)
for class_id in sorted(counts):
name = class_names[class_id] if class_id < len(class_names) else str(class_id)
ratio = max_count / max(counts[class_id], 1)
print(f"{class_id}\t{name}\t{counts[class_id]}\t{ratio:.2f}x")预期输出:
0 person <VALUE> 1.00x
1 helmet <VALUE> <VALUE>x
2 vest <VALUE> <VALUE>x其中 <PATH> 和 <VALUE> 取决于实际数据。倍率越大,说明该类别相对头部类别越稀少,但是否需要干预还要结合验证集上的漏检情况判断。
优先补采真正缺失的场景
补采通常是最可靠的方案,因为它增加的是新信息。稀有类别只有几十张,而且拍摄角度、距离、光照或遮挡条件单一时,重复训练旧图片并不能补上模型没见过的变化。
补采时不要只追求数量接近。更重要的是覆盖部署环境中容易失败的条件,例如小目标、强遮挡、夜间、逆光和复杂背景。新增数据完成标注后,只把它并入训练集;验证集和测试集仍应保持接近真实业务分布,避免为了“看起来平衡”而扭曲评估结果。
用重采样提高稀有类别出现频率
当补采成本较高、现有稀有类别样本质量又不错时,可以在训练阶段提高包含稀有类别图片的采样概率。它的作用是让模型在相同训练轮次中更频繁地看到这些目标。
重采样只应作用于训练过程。不要复制验证集或测试集样本,也不要把同一原图的副本跨集合分配,否则会造成数据泄漏。过度重采样还会让模型记住少量稀有样本,因此应同时观察训练集与验证集差距。
用增强扩展变化而不是制造假样本
增强适合在已有样本基础上增加尺度、位置、颜色和场景组合变化。对于检测任务,可从水平翻转、HSV 扰动、缩放、平移、Mosaic 或 MixUp 等与真实场景一致的变化开始。
增强必须保持标签语义正确。例如文字方向敏感、左右结构有业务含义或目标不可能倒置时,就不应随意使用翻转和大角度旋转。全局增强会同时作用于多个类别,因此当问题只集中在某个稀有类别时,单靠提高全局增强强度往往不如定向补采或自定义采样有效。
按类别指标验收
调整后不要只比较一个总体 mAP。重点查看稀有类别的 Precision、Recall 和 mAP50-95,并确认头部类别没有明显退化。若 Recall 上升而 Precision 大幅下降,说明模型可能只是更激进地报出稀有类别;若训练指标继续变好但验证指标停滞,则要警惕重采样或增强过度。
一个稳妥的迭代顺序是:先修正漏标和错标,再补采缺失场景;仍然不足时增加训练采样频率,最后再逐步增强变化。每次只改一类因素并保留同一验证集,才能知道性能变化究竟来自哪项调整。