计算机视觉 / 系统课时

检查数据集质量

检查数据集质量

训练前的数据质量检查,目标不是“看看文件能否打开”,而是系统发现空标签、类别编号错误、坐标越界、重复图片和类别分布失衡。完成本课后,你将得到一套可重复执行的检查流程,并能根据报告修复数据集。

学习目标

  • 理解 YOLO 标签最常见的质量问题及其影响
  • 使用脚本自动检查图片、标签和类别编号
  • 根据检查结果完成修复与验收

先明确检查范围

YOLOv5 数据集通常由图片目录、标签目录和数据集配置文件组成。标签文件每行格式为 class_id x_center y_center width height,后四个值应归一化到 0~1。检查时应同时关注文件对应关系、标签内容和数据分布,不能只验证单个文本格式。

建议至少检查以下项目:

检查项 合格条件 典型影响
图片与标签对应 每张训练图片都有同名标签文件 漏标或样本被误当作背景
标签行格式 每行恰好 5 个字段 训练读取失败
类别编号 0 <= class_id < nc 类别越界或训练中断
归一化坐标 中心点和宽高位于有效范围 框被裁切或定位异常
空标签 仅允许确认为纯背景的样本为空 正样本丢失
重复图片 同一内容只保留必要副本 训练集泄漏或分布偏斜
类别分布 少数类有足够样本 小类召回率过低

运行自动检查脚本

下面的脚本会遍历图片目录,检查缺失标签、空标签、字段数量、类别范围、坐标范围,并通过文件哈希识别重复图片。将 images_dir、labels_dir 和 num_classes 改为你的实际配置后运行。

python
from __future__ import annotations

import hashlib
from collections import Counter, defaultdict
from pathlib import Path

IMAGE_SUFFIXES = {".jpg", ".jpeg", ".png", ".bmp"}

def file_md5(path: Path) -> str:
    digest = hashlib.md5()
    with path.open("rb") as file:
        for chunk in iter(lambda: file.read(1024 * 1024), b""):
            digest.update(chunk)
    return digest.hexdigest()

def check_dataset(images_dir: Path, labels_dir: Path, num_classes: int) -> None:
    issues: list[str] = []
    class_counts: Counter[int] = Counter()
    hashes: dict[str, list[Path]] = defaultdict(list)

    image_paths = sorted(
        path for path in images_dir.rglob("*")
        if path.suffix.lower() in IMAGE_SUFFIXES
    )

    for image_path in image_paths:
        relative = image_path.relative_to(images_dir)
        label_path = labels_dir / relative.with_suffix(".txt")
        hashes[file_md5(image_path)].append(image_path)

        if not label_path.exists():
            issues.append(f"缺失标签: {relative}")
            continue

        lines = [line.strip() for line in label_path.read_text(encoding="utf-8").splitlines() if line.strip()]
        if not lines:
            issues.append(f"空标签: {relative}")

        for line_number, line in enumerate(lines, start=1):
            parts = line.split()
            if len(parts) != 5:
                issues.append(f"字段数量错误: {relative}:{line_number}")
                continue

            try:
                class_id = int(parts[0])
                x_center, y_center, width, height = map(float, parts[1:])
            except ValueError:
                issues.append(f"数值格式错误: {relative}:{line_number}")
                continue

            if not 0 <= class_id < num_classes:
                issues.append(f"类别越界: {relative}:{line_number} -> {class_id}")
            else:
                class_counts[class_id] += 1

            if not (0 <= x_center <= 1 and 0 <= y_center <= 1):
                issues.append(f"中心点越界: {relative}:{line_number}")
            if not (0 < width <= 1 and 0 < height <= 1):
                issues.append(f"宽高越界: {relative}:{line_number}")

            left = x_center - width / 2
            top = y_center - height / 2
            right = x_center + width / 2
            bottom = y_center + height / 2
            if min(left, top) < 0 or max(right, bottom) > 1:
                issues.append(f"边界框超出图像: {relative}:{line_number}")

    duplicate_groups = [paths for paths in hashes.values() if len(paths) > 1]

    print(f"图片数量: {len(image_paths)}")
    print(f"问题数量: {len(issues)}")
    for issue in issues:
        print(f"- {issue}")

    print("类别实例数:")
    for class_id in range(num_classes):
        print(f"- class {class_id}: {class_counts[class_id]}")

    print(f"重复图片组数: {len(duplicate_groups)}")
    for paths in duplicate_groups:
        print("- " + ", ".join(str(path) for path in paths))

if __name__ == "__main__":
    check_dataset(
        images_dir=Path("dataset/images/train"),
        labels_dir=Path("dataset/labels/train"),
        num_classes=3,
    )

预期输出的数量和路径由数据集决定,格式如下:

text
图片数量: <IMAGE_COUNT>
问题数量: <ISSUE_COUNT>
- <ISSUE_DETAIL>
类别实例数:
- class 0: <COUNT>
- class 1: <COUNT>
- class 2: <COUNT>
重复图片组数: <DUPLICATE_GROUP_COUNT>
- <DUPLICATE_FILE_PATHS>

<IMAGE_COUNT>、<ISSUE_DETAIL> 等占位符会被实际统计值替换;没有问题或重复图片时,对应明细行不会出现。脚本只负责发现问题,不会自动修改标签,避免误删或误改原始数据。

按问题类型修复

缺失标签应先确认图片是否应参与训练。确实含有目标时补标;确认为纯背景时可以创建空标签文件,但要控制背景图比例。空标签也应人工复核,避免把漏标样本当成负样本。

类别越界通常来自类别顺序变更或标注工具配置不一致。修复时应以数据集配置文件中的 names 顺序为准,批量替换前先抽样核对,不要只把大于 nc - 1 的编号强行改成最后一类。

坐标越界需要回到标注工具重新框选。直接把坐标截断到 0~1 虽然能通过格式检查,却可能改变目标区域。重复图片则要检查是否跨越训练集和验证集;同一图片出现在两边会让验证指标虚高。

判断类别是否失衡

类别数量不必完全相等,但不能让少数类只占极小比例。先比较实例数,再查看每类图片数,因为一张图中可能包含多个同类目标。若少数类过少,优先补采样和补标;简单复制图片只能增加重复度,不能提升场景多样性。

一个实用的初步判断是:当某类实例数低于主要类别的 10% 时,应重点复核其召回率和误检情况。这个比例不是硬规则,最终仍要结合目标难度、场景差异和业务重要性决定。

完成最终验收

修复后重新运行脚本,确认缺失标签、格式错误、类别越界和坐标越界均为 0。重复图片应只保留有明确目的的副本,训练集与验证集之间不得出现同图泄漏。

最后随机抽取每个类别的若干图片,在标注工具中可视化检查框的位置和类别名称。自动检查解决格式与统计问题,人工抽查解决语义错误;两者缺一不可。

本课总结

  • 数据集质量检查必须同时覆盖文件对应、标签格式、坐标范围、重复内容和类别分布
  • 自动脚本适合发现结构化问题,类别语义和框选质量仍需人工复核
  • 修复后必须重新检查,并防止重复图片跨训练集与验证集泄漏

下一课预告

下一课将进入模型结构与检测原理,先理解输入尺寸、等比例缩放和填充如何影响特征提取、检测精度与推理速度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

检查数据集质量

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通