计算机视觉 / 系统课时
划分与检查数据集
划分与检查数据集
本课把已标注图片整理成可训练的数据集:先按来源划分训练集、验证集和测试集,再配置 data.yaml,最后用脚本检查漏标、错标和越界框,并生成抽样预览图完成验收。
学习目标
- 按合理比例划分数据,同时避免相邻帧或同一场景泄漏到不同集合
- 编写 YOLOv8 可读取的数据配置文件
- 自动检查标签格式、类别编号和边界框范围,并抽样可视化
先确定划分原则
常用起点是训练集、验证集、测试集按 8:1:1 划分。训练集用于更新参数,验证集用于选择超参数和权重,测试集只在方案基本确定后做最终评估,不能反复查看测试结果再调整模型。
随机划分并不总是安全。若图片来自视频、连拍或同一摄像头,同一段场景中的相邻帧高度相似,应先按视频、日期、地点或设备分组,再把整组分配到某个集合。否则模型可能在验证集中见到近似画面,指标会虚高。

建立目录与配置文件
本课采用图片与标签分目录、集合名保持一致的结构。每张有目标或明确无目标的图片都准备同名 .txt 文件;对无目标图片使用空文件,这样脚本能把真正缺失的标签识别为异常。
dataset/
├── images/
│ ├── train/
│ ├── val/
│ └── test/
├── labels/
│ ├── train/
│ ├── val/
│ └── test/
└── data.yaml在 dataset/data.yaml 中写入数据根目录、三个集合和类别名称。names 的编号必须与标签首列完全一致,并从 0 开始。
path: dataset
train: images/train
val: images/val
test: images/test
names:
0: helmet
1: person该配置生效后,训练程序会在 path 下解析三个图片目录,并自动查找对应的 labels/train、labels/val 和 labels/test。验证方法是先运行下方检查脚本,再用该文件启动一次训练预检。
编写划分与检查脚本
下面脚本假设待处理文件位于 raw/images 和 raw/labels,图片与标签同名。它固定随机种子完成 8:1:1 划分,检查每行是否符合 class_id x_center y_center width height,并把三张训练集预览图保存到 dataset/preview。
from pathlib import Path
import random
import shutil
from PIL import Image, ImageDraw
SOURCE = Path("raw")
TARGET = Path("dataset")
CLASS_COUNT = 2
SEED = 42
RATIOS = (0.8, 0.1, 0.1)
IMAGE_EXTENSIONS = {".jpg", ".jpeg", ".png", ".bmp"}
def read_boxes(label_path: Path) -> list[tuple[int, float, float, float, float]]:
if not label_path.exists():
raise ValueError(f"缺少标签文件: {label_path}")
boxes = []
for line_no, line in enumerate(label_path.read_text(encoding="utf-8").splitlines(), 1):
if not line.strip():
continue
parts = line.split()
if len(parts) != 5:
raise ValueError(f"{label_path}:{line_no} 字段数不是 5")
class_id = int(parts[0])
x, y, w, h = map(float, parts[1:])
if not 0 <= class_id < CLASS_COUNT:
raise ValueError(f"{label_path}:{line_no} 类别编号越界")
if w <= 0 or h <= 0:
raise ValueError(f"{label_path}:{line_no} 宽高必须大于 0")
if min(x - w / 2, y - h / 2) < 0 or max(x + w / 2, y + h / 2) > 1:
raise ValueError(f"{label_path}:{line_no} 边界框越界")
boxes.append((class_id, x, y, w, h))
return boxes
def copy_split(images: list[Path], split: str) -> None:
image_dir = TARGET / "images" / split
label_dir = TARGET / "labels" / split
image_dir.mkdir(parents=True, exist_ok=True)
label_dir.mkdir(parents=True, exist_ok=True)
for image_path in images:
label_path = SOURCE / "labels" / f"{image_path.stem}.txt"
read_boxes(label_path)
shutil.copy2(image_path, image_dir / image_path.name)
shutil.copy2(label_path, label_dir / label_path.name)
def save_previews(images: list[Path], count: int = 3) -> None:
preview_dir = TARGET / "preview"
preview_dir.mkdir(parents=True, exist_ok=True)
for image_path in images[:count]:
label_path = SOURCE / "labels" / f"{image_path.stem}.txt"
boxes = read_boxes(label_path)
with Image.open(image_path).convert("RGB") as image:
draw = ImageDraw.Draw(image)
width, height = image.size
for class_id, x, y, w, h in boxes:
left = (x - w / 2) * width
top = (y - h / 2) * height
right = (x + w / 2) * width
bottom = (y + h / 2) * height
draw.rectangle((left, top, right, bottom), width=3)
draw.text((left, max(0, top - 12)), str(class_id))
image.save(preview_dir / image_path.name)
def main() -> None:
images = sorted(
path for path in (SOURCE / "images").iterdir()
if path.suffix.lower() in IMAGE_EXTENSIONS
)
random.Random(SEED).shuffle(images)
train_end = int(len(images) * RATIOS[0])
val_end = train_end + int(len(images) * RATIOS[1])
splits = {
"train": images[:train_end],
"val": images[train_end:val_end],
"test": images[val_end:],
}
for split, split_images in splits.items():
copy_split(split_images, split)
print(f"{split}: {len(split_images)} images")
save_previews(splits["train"])
print("检查通过,预览图已写入 dataset/preview")
if __name__ == "__main__":
main()先安装脚本依赖,再执行检查。示例假设 raw/images 中正好有 1000 张图片。
python -m pip install pillow
python split_and_check.py预期输出:
train: 800 images
val: 100 images
test: 100 images
检查通过,预览图已写入 dataset/preview实际数量会随图片总数变化;若标签缺失、类别编号错误或框越界,脚本会直接报出文件名和行号,应修复原始标签后重新运行。
完成人工可视化验收
自动检查只能发现格式和范围问题,不能判断框是否真的套住目标。打开 dataset/preview 中的图片,重点确认目标是否漏标、类别是否正确、框是否贴合目标边缘,以及遮挡目标和小目标是否遵循同一标注规则。
至少再分别从训练集、验证集和测试集抽查一批图片。若错误集中出现在某个标注员、某个拍摄批次或某个类别,应按来源批量回查,而不是只修改预览中看到的几张。
常见错误与修复
把相邻视频帧随机打散到三个集合,会造成数据泄漏;应先按视频或场景分组。data.yaml 的类别顺序与标签编号不一致,会让模型学习错误类别;应以统一类别表重新导出标签。
边界框数值虽然都在 0 到 1 之间,也可能因为中心点和宽高组合而越界,因此检查时必须验证四条边。对无目标图片使用空标签文件,可避免把合法负样本误判为文件丢失。