计算机视觉 / 系统课时
验证图像标签配对
验证图像标签配对
YOLO 数据集中,一张图像通常应有一个同名 .txt 标签文件。真正容易漏掉的问题不是标签格式,而是缺失标签、没有图像的孤立标签,以及本应有目标却被误留为空文件。本节用脚本一次扫描训练集和验证集,并给出不同异常的处理原则。
学习目标
- 理解 YOLO 图像与标签按相对路径和文件名配对的规则
- 自动找出缺失标签、孤立标签和空标签
- 区分合法的空标签与需要重新标注的数据
明确配对规则
例如图像 images/train/day1/car_001.jpg 对应的标签应是 labels/train/day1/car_001.txt。文件扩展名可以不同,但相对于 images/train 与 labels/train 的子目录和文件主名必须一致。
空的 .txt 文件有特殊含义:如果图像经过确认确实没有任何目标,它可以作为合法的负样本标签存在。因此,扫描脚本应该把空标签单独报告,而不是直接认定为错误。
编写配对检查脚本
下面的脚本只使用 Python 标准库。将它保存为 check_pairs.py,然后把数据集根目录作为参数传入:
from pathlib import Path
import argparse
IMAGE_SUFFIXES = {".jpg", ".jpeg", ".png", ".bmp", ".webp"}
def scan_split(root: Path, split: str) -> None:
image_dir = root / "images" / split
label_dir = root / "labels" / split
if not image_dir.exists():
print(f"[{split}] image directory not found: {image_dir}")
return
images = [
p for p in image_dir.rglob("*")
if p.is_file() and p.suffix.lower() in IMAGE_SUFFIXES
]
labels = list(label_dir.rglob("*.txt")) if label_dir.exists() else []
# 使用不含扩展名的相对路径作为配对键,兼容多级子目录。
image_keys = {p.relative_to(image_dir).with_suffix("") for p in images}
label_keys = {p.relative_to(label_dir).with_suffix("") for p in labels}
missing = sorted(image_keys - label_keys)
orphan = sorted(label_keys - image_keys)
empty = sorted(
p.relative_to(label_dir) for p in labels if p.stat().st_size == 0
)
print(
f"[{split}] images={len(images)} labels={len(labels)} "
f"missing={len(missing)} orphan={len(orphan)} empty={len(empty)}"
)
for item in missing:
print(f" MISSING_LABEL {item}")
for item in orphan:
print(f" ORPHAN_LABEL {item}")
for item in empty:
print(f" EMPTY_LABEL {item}")
def main() -> None:
parser = argparse.ArgumentParser()
parser.add_argument("dataset_root", type=Path)
args = parser.parse_args()
for split in ("train", "val"):
scan_split(args.dataset_root, split)
if __name__ == "__main__":
main()运行检查:
python check_pairs.py <PATH>/fruit-detection预期输出的结构如下,实际数量取决于数据集:
[train] images=<VALUE> labels=<VALUE> missing=0 orphan=0 empty=<VALUE>
[val] images=<VALUE> labels=<VALUE> missing=0 orphan=0 empty=<VALUE>如果存在异常,脚本还会在统计行之后输出具体的 MISSING_LABEL、ORPHAN_LABEL 或 EMPTY_LABEL 路径,便于直接定位文件。
处理三类异常
MISSING_LABEL 表示存在图像但没有同名标签。不要看到缺失后就批量创建空文件:先检查图像是否真的没有目标。无目标图像可以补一个空 .txt;如果图中存在目标,则应重新标注。
ORPHAN_LABEL 表示标签存在但对应图像不存在。常见原因是图像被移动、删除或改名。应先寻找原图;确认原图已经废弃后,再删除或隔离这份标签,避免它继续污染数据维护流程。
EMPTY_LABEL 本身不是错误。它可能代表合法负样本,也可能是标注工具保存了尚未完成的文件。空标签需要结合图像人工抽查,确认画面中确实不存在需要检测的类别。
验收配对结果
训练前至少应让 missing=0 和 orphan=0。empty 可以大于零,但每个空标签都应具有明确的负样本含义。完成清理后再次运行同一脚本,确认统计结果稳定,再进入训练阶段,可以避免因为文件迁移和漏标导致的数据集质量问题。