计算机视觉 / 系统课时
检查数据集质量
检查数据集质量
训练前的数据质量检查,目标不是“看看文件能否打开”,而是系统发现空标签、类别编号错误、坐标越界、重复图片和类别分布失衡。完成本课后,你将得到一套可重复执行的检查流程,并能根据报告修复数据集。
学习目标
- 理解 YOLO 标签最常见的质量问题及其影响
- 使用脚本自动检查图片、标签和类别编号
- 根据检查结果完成修复与验收
先明确检查范围
YOLOv5 数据集通常由图片目录、标签目录和数据集配置文件组成。标签文件每行格式为 class_id x_center y_center width height,后四个值应归一化到 0~1。检查时应同时关注文件对应关系、标签内容和数据分布,不能只验证单个文本格式。
建议至少检查以下项目:
| 检查项 | 合格条件 | 典型影响 |
|---|---|---|
| 图片与标签对应 | 每张训练图片都有同名标签文件 | 漏标或样本被误当作背景 |
| 标签行格式 | 每行恰好 5 个字段 | 训练读取失败 |
| 类别编号 | 0 <= class_id < nc |
类别越界或训练中断 |
| 归一化坐标 | 中心点和宽高位于有效范围 | 框被裁切或定位异常 |
| 空标签 | 仅允许确认为纯背景的样本为空 | 正样本丢失 |
| 重复图片 | 同一内容只保留必要副本 | 训练集泄漏或分布偏斜 |
| 类别分布 | 少数类有足够样本 | 小类召回率过低 |
运行自动检查脚本
下面的脚本会遍历图片目录,检查缺失标签、空标签、字段数量、类别范围、坐标范围,并通过文件哈希识别重复图片。将 images_dir、labels_dir 和 num_classes 改为你的实际配置后运行。
from __future__ import annotations
import hashlib
from collections import Counter, defaultdict
from pathlib import Path
IMAGE_SUFFIXES = {".jpg", ".jpeg", ".png", ".bmp"}
def file_md5(path: Path) -> str:
digest = hashlib.md5()
with path.open("rb") as file:
for chunk in iter(lambda: file.read(1024 * 1024), b""):
digest.update(chunk)
return digest.hexdigest()
def check_dataset(images_dir: Path, labels_dir: Path, num_classes: int) -> None:
issues: list[str] = []
class_counts: Counter[int] = Counter()
hashes: dict[str, list[Path]] = defaultdict(list)
image_paths = sorted(
path for path in images_dir.rglob("*")
if path.suffix.lower() in IMAGE_SUFFIXES
)
for image_path in image_paths:
relative = image_path.relative_to(images_dir)
label_path = labels_dir / relative.with_suffix(".txt")
hashes[file_md5(image_path)].append(image_path)
if not label_path.exists():
issues.append(f"缺失标签: {relative}")
continue
lines = [line.strip() for line in label_path.read_text(encoding="utf-8").splitlines() if line.strip()]
if not lines:
issues.append(f"空标签: {relative}")
for line_number, line in enumerate(lines, start=1):
parts = line.split()
if len(parts) != 5:
issues.append(f"字段数量错误: {relative}:{line_number}")
continue
try:
class_id = int(parts[0])
x_center, y_center, width, height = map(float, parts[1:])
except ValueError:
issues.append(f"数值格式错误: {relative}:{line_number}")
continue
if not 0 <= class_id < num_classes:
issues.append(f"类别越界: {relative}:{line_number} -> {class_id}")
else:
class_counts[class_id] += 1
if not (0 <= x_center <= 1 and 0 <= y_center <= 1):
issues.append(f"中心点越界: {relative}:{line_number}")
if not (0 < width <= 1 and 0 < height <= 1):
issues.append(f"宽高越界: {relative}:{line_number}")
left = x_center - width / 2
top = y_center - height / 2
right = x_center + width / 2
bottom = y_center + height / 2
if min(left, top) < 0 or max(right, bottom) > 1:
issues.append(f"边界框超出图像: {relative}:{line_number}")
duplicate_groups = [paths for paths in hashes.values() if len(paths) > 1]
print(f"图片数量: {len(image_paths)}")
print(f"问题数量: {len(issues)}")
for issue in issues:
print(f"- {issue}")
print("类别实例数:")
for class_id in range(num_classes):
print(f"- class {class_id}: {class_counts[class_id]}")
print(f"重复图片组数: {len(duplicate_groups)}")
for paths in duplicate_groups:
print("- " + ", ".join(str(path) for path in paths))
if __name__ == "__main__":
check_dataset(
images_dir=Path("dataset/images/train"),
labels_dir=Path("dataset/labels/train"),
num_classes=3,
)预期输出的数量和路径由数据集决定,格式如下:
图片数量: <IMAGE_COUNT>
问题数量: <ISSUE_COUNT>
- <ISSUE_DETAIL>
类别实例数:
- class 0: <COUNT>
- class 1: <COUNT>
- class 2: <COUNT>
重复图片组数: <DUPLICATE_GROUP_COUNT>
- <DUPLICATE_FILE_PATHS><IMAGE_COUNT>、<ISSUE_DETAIL> 等占位符会被实际统计值替换;没有问题或重复图片时,对应明细行不会出现。脚本只负责发现问题,不会自动修改标签,避免误删或误改原始数据。
按问题类型修复
缺失标签应先确认图片是否应参与训练。确实含有目标时补标;确认为纯背景时可以创建空标签文件,但要控制背景图比例。空标签也应人工复核,避免把漏标样本当成负样本。
类别越界通常来自类别顺序变更或标注工具配置不一致。修复时应以数据集配置文件中的 names 顺序为准,批量替换前先抽样核对,不要只把大于 nc - 1 的编号强行改成最后一类。
坐标越界需要回到标注工具重新框选。直接把坐标截断到 0~1 虽然能通过格式检查,却可能改变目标区域。重复图片则要检查是否跨越训练集和验证集;同一图片出现在两边会让验证指标虚高。
判断类别是否失衡
类别数量不必完全相等,但不能让少数类只占极小比例。先比较实例数,再查看每类图片数,因为一张图中可能包含多个同类目标。若少数类过少,优先补采样和补标;简单复制图片只能增加重复度,不能提升场景多样性。
一个实用的初步判断是:当某类实例数低于主要类别的 10% 时,应重点复核其召回率和误检情况。这个比例不是硬规则,最终仍要结合目标难度、场景差异和业务重要性决定。
完成最终验收
修复后重新运行脚本,确认缺失标签、格式错误、类别越界和坐标越界均为 0。重复图片应只保留有明确目的的副本,训练集与验证集之间不得出现同图泄漏。
最后随机抽取每个类别的若干图片,在标注工具中可视化检查框的位置和类别名称。自动检查解决格式与统计问题,人工抽查解决语义错误;两者缺一不可。
本课总结
- 数据集质量检查必须同时覆盖文件对应、标签格式、坐标范围、重复内容和类别分布
- 自动脚本适合发现结构化问题,类别语义和框选质量仍需人工复核
- 修复后必须重新检查,并防止重复图片跨训练集与验证集泄漏
下一课预告
下一课将进入模型结构与检测原理,先理解输入尺寸、等比例缩放和填充如何影响特征提取、检测精度与推理速度。