计算机视觉 / 系统课时

检查与划分数据集

检查与划分数据集

本课完成训练前最关键的数据门禁:检查图像能否读取、标签格式是否有效、样本是否重复,并按固定随机种子生成训练集、验证集和测试集。完成后,你将得到可追溯的划分文件和一份可直接运行的检查脚本。

学习目标

  • 发现损坏图像、缺失标签和越界标注
  • 理解训练集、验证集与测试集的职责
  • 使用脚本完成确定性划分并检查类别分布

检查质量并阻断数据泄漏

数据检查应先于训练。图像至少要能被解码,标签文件要与图像同名,YOLO 标签每行必须包含 class_id x_center y_center width height 五个字段,后四项通常归一化到 0~1。

空标签文件可以表示“图像中没有目标”,但缺失标签文件通常意味着数据不完整。重复图像也要提前处理:同一画面若同时进入训练集和测试集,会让测试指标虚高,却不能代表模型对新场景的泛化能力。

检查顺序应固定为“文件配对 → 图像可读性 → 标签字段 → 坐标范围 → 重复样本 → 类别统计”。发现严重错误时应停止划分,而不是让训练过程自行忽略。

数据检查与划分流程

划分规则与数据职责

常见比例是 80% 训练集、10% 验证集、10% 测试集。训练集用于更新模型参数,验证集用于选择超参数和早停轮次,测试集只在方案确定后进行最终验收。

数据集 主要用途 是否参与调参
训练集 学习模型参数 是
验证集 选择模型和超参数 是
测试集 最终评估泛化能力 否

划分前应先去重,并尽量让不同场景、设备和类别在三个集合中都有代表性。连续视频抽帧时不能逐帧随机划分,应按视频、拍摄批次或场景分组,否则相邻画面会跨集合造成泄漏。

自动检查和划分

下面脚本假设图像位于 data/images/all,标签位于 data/labels/all,类别数为 3。它会验证图像、标签和重复文件,只有全部通过后才写出三个划分清单。

python
from collections import Counter
from hashlib import sha256
from pathlib import Path
import random

from PIL import Image

IMAGE_DIR = Path('data/images/all')
LABEL_DIR = Path('data/labels/all')
SPLIT_DIR = Path('data/splits')
CLASS_COUNT = 3
SEED = 42
IMAGE_SUFFIXES = {'.jpg', '.jpeg', '.png', '.bmp'}

def file_hash(path: Path) -> str:
    digest = sha256()
    with path.open('rb') as file:
        for chunk in iter(lambda: file.read(1024 * 1024), b''):
            digest.update(chunk)
    return digest.hexdigest()

def check_label(path: Path) -> tuple[list[int], list[str]]:
    classes: list[int] = []
    errors: list[str] = []

    for line_no, line in enumerate(path.read_text(encoding='utf-8').splitlines(), 1):
        if not line.strip():
            continue

        parts = line.split()
        if len(parts) != 5:
            errors.append(f'{path}:{line_no} 字段数不是 5')
            continue

        try:
            class_id = int(parts[0])
            x, y, width, height = map(float, parts[1:])
        except ValueError:
            errors.append(f'{path}:{line_no} 存在非数字字段')
            continue

        if not 0 <= class_id < CLASS_COUNT:
            errors.append(f'{path}:{line_no} 类别编号越界')
        if not all(0 <= value <= 1 for value in (x, y, width, height)):
            errors.append(f'{path}:{line_no} 坐标未归一化')
        if width <= 0 or height <= 0:
            errors.append(f'{path}:{line_no} 宽高必须大于 0')

        classes.append(class_id)

    return classes, errors

def main() -> None:
    images = sorted(
        path for path in IMAGE_DIR.iterdir()
        if path.suffix.lower() in IMAGE_SUFFIXES
    )
    if not images:
        raise SystemExit(f'未找到图像:{IMAGE_DIR}')

    issues: list[str] = []
    valid_images: list[Path] = []
    image_classes: dict[Path, list[int]] = {}
    seen_hashes: dict[str, Path] = {}

    for image_path in images:
        try:
            with Image.open(image_path) as image:
                image.verify()
        except Exception as exc:
            issues.append(f'{image_path} 无法读取:{exc}')
            continue

        digest = file_hash(image_path)
        if digest in seen_hashes:
            issues.append(f'{image_path} 与 {seen_hashes[digest]} 内容重复')
            continue
        seen_hashes[digest] = image_path

        label_path = LABEL_DIR / f'{image_path.stem}.txt'
        if not label_path.exists():
            issues.append(f'{image_path} 缺少标签文件')
            continue

        classes, label_errors = check_label(label_path)
        issues.extend(label_errors)
        valid_images.append(image_path)
        image_classes[image_path] = classes

    if issues:
        print('检查失败:')
        for issue in issues:
            print(f'- {issue}')
        raise SystemExit(1)

    random.Random(SEED).shuffle(valid_images)
    total = len(valid_images)
    train_end = int(total * 0.8)
    val_end = train_end + int(total * 0.1)
    splits = {
        'train': valid_images[:train_end],
        'val': valid_images[train_end:val_end],
        'test': valid_images[val_end:],
    }

    SPLIT_DIR.mkdir(parents=True, exist_ok=True)
    for name, items in splits.items():
        output = SPLIT_DIR / f'{name}.txt'
        output.write_text(
            '\n'.join(path.as_posix() for path in items) + '\n',
            encoding='utf-8',
        )
        counts = Counter(
            class_id
            for path in items
            for class_id in image_classes[path]
        )
        print(f'{name}: {len(items)} images, classes={dict(sorted(counts.items()))}')

    print(f'检查通过,划分文件已写入 {SPLIT_DIR}')

if __name__ == '__main__':
    main()

先安装 Pillow,再运行脚本。将 check_and_split.py 替换为实际保存路径。

bash
python -m pip install pillow
python check_and_split.py

预期输出

text
train: <TRAIN_COUNT> images, classes={<CLASS_COUNTS>}
val: <VAL_COUNT> images, classes={<CLASS_COUNTS>}
test: <TEST_COUNT> images, classes={<CLASS_COUNTS>}
检查通过,划分文件已写入 data/splits

<TRAIN_COUNT>、<VAL_COUNT>、<TEST_COUNT> 和 <CLASS_COUNTS> 会随数据集变化。若脚本输出“检查失败”,应先修复对应文件再重新执行;若某个稀有类别未出现在验证集或测试集,需要按类别和场景手动调整划分,同时保持测试集不参与后续调参。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

检查与划分数据集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通