计算机视觉 / 系统课时

划分与检查数据集

划分与检查数据集

本课把已标注图片整理成可训练的数据集:先按来源划分训练集、验证集和测试集,再配置 data.yaml,最后用脚本检查漏标、错标和越界框,并生成抽样预览图完成验收。

学习目标

  • 按合理比例划分数据,同时避免相邻帧或同一场景泄漏到不同集合
  • 编写 YOLOv8 可读取的数据配置文件
  • 自动检查标签格式、类别编号和边界框范围,并抽样可视化

先确定划分原则

常用起点是训练集、验证集、测试集按 8:1:1 划分。训练集用于更新参数,验证集用于选择超参数和权重,测试集只在方案基本确定后做最终评估,不能反复查看测试结果再调整模型。

随机划分并不总是安全。若图片来自视频、连拍或同一摄像头,同一段场景中的相邻帧高度相似,应先按视频、日期、地点或设备分组,再把整组分配到某个集合。否则模型可能在验证集中见到近似画面,指标会虚高。

数据集划分与质量检查闭环

建立目录与配置文件

本课采用图片与标签分目录、集合名保持一致的结构。每张有目标或明确无目标的图片都准备同名 .txt 文件;对无目标图片使用空文件,这样脚本能把真正缺失的标签识别为异常。

text
dataset/
├── images/
│   ├── train/
│   ├── val/
│   └── test/
├── labels/
│   ├── train/
│   ├── val/
│   └── test/
└── data.yaml

在 dataset/data.yaml 中写入数据根目录、三个集合和类别名称。names 的编号必须与标签首列完全一致,并从 0 开始。

yaml
path: dataset
train: images/train
val: images/val
test: images/test

names:
  0: helmet
  1: person

该配置生效后,训练程序会在 path 下解析三个图片目录,并自动查找对应的 labels/train、labels/val 和 labels/test。验证方法是先运行下方检查脚本,再用该文件启动一次训练预检。

编写划分与检查脚本

下面脚本假设待处理文件位于 raw/images 和 raw/labels,图片与标签同名。它固定随机种子完成 8:1:1 划分,检查每行是否符合 class_id x_center y_center width height,并把三张训练集预览图保存到 dataset/preview。

python
from pathlib import Path
import random
import shutil
from PIL import Image, ImageDraw

SOURCE = Path("raw")
TARGET = Path("dataset")
CLASS_COUNT = 2
SEED = 42
RATIOS = (0.8, 0.1, 0.1)
IMAGE_EXTENSIONS = {".jpg", ".jpeg", ".png", ".bmp"}

def read_boxes(label_path: Path) -> list[tuple[int, float, float, float, float]]:
    if not label_path.exists():
        raise ValueError(f"缺少标签文件: {label_path}")

    boxes = []
    for line_no, line in enumerate(label_path.read_text(encoding="utf-8").splitlines(), 1):
        if not line.strip():
            continue
        parts = line.split()
        if len(parts) != 5:
            raise ValueError(f"{label_path}:{line_no} 字段数不是 5")

        class_id = int(parts[0])
        x, y, w, h = map(float, parts[1:])
        if not 0 <= class_id < CLASS_COUNT:
            raise ValueError(f"{label_path}:{line_no} 类别编号越界")
        if w <= 0 or h <= 0:
            raise ValueError(f"{label_path}:{line_no} 宽高必须大于 0")
        if min(x - w / 2, y - h / 2) < 0 or max(x + w / 2, y + h / 2) > 1:
            raise ValueError(f"{label_path}:{line_no} 边界框越界")
        boxes.append((class_id, x, y, w, h))
    return boxes

def copy_split(images: list[Path], split: str) -> None:
    image_dir = TARGET / "images" / split
    label_dir = TARGET / "labels" / split
    image_dir.mkdir(parents=True, exist_ok=True)
    label_dir.mkdir(parents=True, exist_ok=True)

    for image_path in images:
        label_path = SOURCE / "labels" / f"{image_path.stem}.txt"
        read_boxes(label_path)
        shutil.copy2(image_path, image_dir / image_path.name)
        shutil.copy2(label_path, label_dir / label_path.name)

def save_previews(images: list[Path], count: int = 3) -> None:
    preview_dir = TARGET / "preview"
    preview_dir.mkdir(parents=True, exist_ok=True)

    for image_path in images[:count]:
        label_path = SOURCE / "labels" / f"{image_path.stem}.txt"
        boxes = read_boxes(label_path)
        with Image.open(image_path).convert("RGB") as image:
            draw = ImageDraw.Draw(image)
            width, height = image.size
            for class_id, x, y, w, h in boxes:
                left = (x - w / 2) * width
                top = (y - h / 2) * height
                right = (x + w / 2) * width
                bottom = (y + h / 2) * height
                draw.rectangle((left, top, right, bottom), width=3)
                draw.text((left, max(0, top - 12)), str(class_id))
            image.save(preview_dir / image_path.name)

def main() -> None:
    images = sorted(
        path for path in (SOURCE / "images").iterdir()
        if path.suffix.lower() in IMAGE_EXTENSIONS
    )
    random.Random(SEED).shuffle(images)

    train_end = int(len(images) * RATIOS[0])
    val_end = train_end + int(len(images) * RATIOS[1])
    splits = {
        "train": images[:train_end],
        "val": images[train_end:val_end],
        "test": images[val_end:],
    }

    for split, split_images in splits.items():
        copy_split(split_images, split)
        print(f"{split}: {len(split_images)} images")

    save_previews(splits["train"])
    print("检查通过,预览图已写入 dataset/preview")

if __name__ == "__main__":
    main()

先安装脚本依赖,再执行检查。示例假设 raw/images 中正好有 1000 张图片。

bash
python -m pip install pillow
python split_and_check.py

预期输出:

text
train: 800 images
val: 100 images
test: 100 images
检查通过,预览图已写入 dataset/preview

实际数量会随图片总数变化;若标签缺失、类别编号错误或框越界,脚本会直接报出文件名和行号,应修复原始标签后重新运行。

完成人工可视化验收

自动检查只能发现格式和范围问题,不能判断框是否真的套住目标。打开 dataset/preview 中的图片,重点确认目标是否漏标、类别是否正确、框是否贴合目标边缘,以及遮挡目标和小目标是否遵循同一标注规则。

至少再分别从训练集、验证集和测试集抽查一批图片。若错误集中出现在某个标注员、某个拍摄批次或某个类别,应按来源批量回查,而不是只修改预览中看到的几张。

常见错误与修复

把相邻视频帧随机打散到三个集合,会造成数据泄漏;应先按视频或场景分组。data.yaml 的类别顺序与标签编号不一致,会让模型学习错误类别;应以统一类别表重新导出标签。

边界框数值虽然都在 0 到 1 之间,也可能因为中心点和宽高组合而越界,因此检查时必须验证四条边。对无目标图片使用空标签文件,可避免把合法负样本误判为文件丢失。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

划分与检查数据集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通