计算机视觉 / 系统课时

验证图像标签配对

验证图像标签配对

YOLO 数据集中,一张图像通常应有一个同名 .txt 标签文件。真正容易漏掉的问题不是标签格式,而是缺失标签、没有图像的孤立标签,以及本应有目标却被误留为空文件。本节用脚本一次扫描训练集和验证集,并给出不同异常的处理原则。

学习目标

  • 理解 YOLO 图像与标签按相对路径和文件名配对的规则
  • 自动找出缺失标签、孤立标签和空标签
  • 区分合法的空标签与需要重新标注的数据

明确配对规则

例如图像 images/train/day1/car_001.jpg 对应的标签应是 labels/train/day1/car_001.txt。文件扩展名可以不同,但相对于 images/train 与 labels/train 的子目录和文件主名必须一致。

空的 .txt 文件有特殊含义:如果图像经过确认确实没有任何目标,它可以作为合法的负样本标签存在。因此,扫描脚本应该把空标签单独报告,而不是直接认定为错误。

编写配对检查脚本

下面的脚本只使用 Python 标准库。将它保存为 check_pairs.py,然后把数据集根目录作为参数传入:

python
from pathlib import Path
import argparse

IMAGE_SUFFIXES = {".jpg", ".jpeg", ".png", ".bmp", ".webp"}


def scan_split(root: Path, split: str) -> None:
    image_dir = root / "images" / split
    label_dir = root / "labels" / split

    if not image_dir.exists():
        print(f"[{split}] image directory not found: {image_dir}")
        return

    images = [
        p for p in image_dir.rglob("*")
        if p.is_file() and p.suffix.lower() in IMAGE_SUFFIXES
    ]
    labels = list(label_dir.rglob("*.txt")) if label_dir.exists() else []

    # 使用不含扩展名的相对路径作为配对键,兼容多级子目录。
    image_keys = {p.relative_to(image_dir).with_suffix("") for p in images}
    label_keys = {p.relative_to(label_dir).with_suffix("") for p in labels}

    missing = sorted(image_keys - label_keys)
    orphan = sorted(label_keys - image_keys)
    empty = sorted(
        p.relative_to(label_dir) for p in labels if p.stat().st_size == 0
    )

    print(
        f"[{split}] images={len(images)} labels={len(labels)} "
        f"missing={len(missing)} orphan={len(orphan)} empty={len(empty)}"
    )

    for item in missing:
        print(f"  MISSING_LABEL {item}")
    for item in orphan:
        print(f"  ORPHAN_LABEL  {item}")
    for item in empty:
        print(f"  EMPTY_LABEL   {item}")


def main() -> None:
    parser = argparse.ArgumentParser()
    parser.add_argument("dataset_root", type=Path)
    args = parser.parse_args()

    for split in ("train", "val"):
        scan_split(args.dataset_root, split)


if __name__ == "__main__":
    main()

运行检查:

bash
python check_pairs.py <PATH>/fruit-detection

预期输出的结构如下,实际数量取决于数据集:

text
[train] images=<VALUE> labels=<VALUE> missing=0 orphan=0 empty=<VALUE>
[val] images=<VALUE> labels=<VALUE> missing=0 orphan=0 empty=<VALUE>

如果存在异常,脚本还会在统计行之后输出具体的 MISSING_LABEL、ORPHAN_LABEL 或 EMPTY_LABEL 路径,便于直接定位文件。

处理三类异常

MISSING_LABEL 表示存在图像但没有同名标签。不要看到缺失后就批量创建空文件:先检查图像是否真的没有目标。无目标图像可以补一个空 .txt;如果图中存在目标,则应重新标注。

ORPHAN_LABEL 表示标签存在但对应图像不存在。常见原因是图像被移动、删除或改名。应先寻找原图;确认原图已经废弃后,再删除或隔离这份标签,避免它继续污染数据维护流程。

EMPTY_LABEL 本身不是错误。它可能代表合法负样本,也可能是标注工具保存了尚未完成的文件。空标签需要结合图像人工抽查,确认画面中确实不存在需要检测的类别。

验收配对结果

训练前至少应让 missing=0 和 orphan=0。empty 可以大于零,但每个空标签都应具有明确的负样本含义。完成清理后再次运行同一脚本,确认统计结果稳定,再进入训练阶段,可以避免因为文件迁移和漏标导致的数据集质量问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

验证图像标签配对

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通