计算机视觉 / 系统课时
划分训练验证测试集
划分训练验证测试集
数据集划分不仅是按比例随机分文件,更重要的是保证验证集和测试集真正代表模型没见过的数据。本节会完成可复现的分组划分,并重点避免相邻视频帧跨集合造成的数据泄漏。
学习目标
- 根据数据规模选择合理的训练、验证和测试比例
- 理解连续视频帧随机拆分为什么会造成数据泄漏
- 使用固定随机种子按视频或采集组完成可复现划分
先确定划分单位
对于彼此独立拍摄的图片,可以直接以单张图像作为划分单位。但视频抽帧、连拍照片和同一场景连续采集的数据高度相似,不能简单把每一帧独立随机分配。

例如视频第 100 帧进入训练集,而几乎相同的第 101 帧进入验证集,模型实际上已经见过非常接近的画面,验证指标就会虚高。更可靠的原则是先按视频、拍摄批次、设备或场景建立 group,再把整个 group 分配给一个集合。
选择划分比例
常见起点是训练集约 80%、验证集约 10%、测试集约 10%。数据量较少时,也可以采用 80%/20% 的训练验证划分,暂时不单独保留测试集。
比例只是目标,不应该为了精确达到 80%/10%/10% 而拆散本应保持完整的 group。若不同视频的帧数差异很大,最终按图像数量统计的比例可能有所偏移,应优先保证数据独立性。
按视频分组划分
下面脚本假设原始文件位于 raw/images 与 raw/labels,文件名采用 video01__000001.jpg 和 video01__000001.txt 这种形式,其中双下划线前的部分表示视频或采集组 ID。脚本按 group 随机划分,并复制到标准 YOLO 目录。
from pathlib import Path
import random
import shutil
SOURCE_IMAGES = Path("raw/images")
SOURCE_LABELS = Path("raw/labels")
TARGET = Path("dataset")
SEED = 42
images = sorted(
p for p in SOURCE_IMAGES.iterdir()
if p.suffix.lower() in {".jpg", ".jpeg", ".png"}
)
def group_id(path: Path) -> str:
# 同一视频或采集批次必须拥有相同的双下划线前缀。
if "__" not in path.stem:
raise ValueError(f"文件名缺少 group 前缀: {path.name}")
return path.stem.split("__", 1)[0]
groups = sorted({group_id(p) for p in images})
if len(groups) < 3:
raise ValueError("至少需要 3 个独立 group 才能划分 train/val/test")
random.Random(SEED).shuffle(groups)
n = len(groups)
n_train = max(1, int(n * 0.8))
n_val = max(1, int(n * 0.1))
if n_train + n_val >= n:
n_train, n_val = n - 2, 1
split_groups = {
"train": set(groups[:n_train]),
"val": set(groups[n_train:n_train + n_val]),
"test": set(groups[n_train + n_val:]),
}
for split in split_groups:
(TARGET / "images" / split).mkdir(parents=True, exist_ok=True)
(TARGET / "labels" / split).mkdir(parents=True, exist_ok=True)
for image in images:
split = next(name for name, ids in split_groups.items() if group_id(image) in ids)
label = SOURCE_LABELS / f"{image.stem}.txt"
if not label.exists():
raise FileNotFoundError(f"缺少标签: {label}")
shutil.copy2(image, TARGET / "images" / split / image.name)
shutil.copy2(label, TARGET / "labels" / split / label.name)
assert split_groups["train"].isdisjoint(split_groups["val"])
assert split_groups["train"].isdisjoint(split_groups["test"])
assert split_groups["val"].isdisjoint(split_groups["test"])
for split, ids in split_groups.items():
count = sum(group_id(p) in ids for p in images)
print(f"{split}: {len(ids)} groups, {count} images")
print("group overlap: none")预期输出
train: <VALUE> groups, <VALUE> images
val: <VALUE> groups, <VALUE> images
test: <VALUE> groups, <VALUE> images
group overlap: none其中 <VALUE> 取决于实际视频数量和每组图像数量。相同输入数据配合固定的 SEED 会得到相同划分,便于重复训练和比较实验结果。
验收划分结果
完成复制后,应检查三个集合都包含图像和对应标签,并确认一个 group 只存在于一个集合。对于视频数据,还可以随机抽取集合边界附近的样本,确认没有把同一次连续拍摄人为拆散。
合理的数据集比例只能解决样本数量问题,分组策略才决定评估是否独立。对于连续视频帧,宁可接受比例略有偏差,也不要让高度相似的相邻帧同时出现在训练集和验证集或测试集中。