计算机视觉 / 系统课时
统计样本分布
统计样本分布
训练集规模看起来足够,并不代表数据真的均衡。本节把类别、图像分辨率、场景和数据来源转成可核对的统计结果,用这些数字定位少样本类别、单一场景依赖和来源偏差,为补采与清洗提供依据。
学习目标
- 统计类别数量和占比,识别明显的长尾与缺失类别
- 汇总分辨率、场景和来源分布,发现采集覆盖不足
- 根据统计结果制定可执行的补采、清洗与数据划分策略
先明确要统计什么
样本分布至少要从四个维度检查。类别分布回答每类目标出现了多少次;分辨率分布反映输入尺寸是否过于集中;场景分布检查白天、夜晚、室内、室外等条件是否覆盖;来源分布则用于识别某台相机、某段视频或某个公开数据集占比过高的问题。
类别统计应按“目标实例数”计算,而不是只统计包含该类别的图片数。一张图片里出现 5 辆车,就应计入 5 个 car 实例。与此同时还要保留图片级数量,因为少数图片承载大量同类目标时,同样可能造成数据相关性过强。
用脚本生成分布报告
假设数据集使用 YOLO 标签格式,图像位于 images/,同名标签位于 labels/。另外准备 metadata.csv,记录每张图片所属场景和来源:表头为 file,scene,source,例如 0001.jpg,night,camera-a。
下面脚本会同时统计类别实例数、常见分辨率、场景和来源。运行前需要安装 Pillow:python -m pip install pillow。
from collections import Counter
from pathlib import Path
import csv
from PIL import Image
IMAGE_DIR = Path("images")
LABEL_DIR = Path("labels")
META_FILE = Path("metadata.csv")
CLASS_NAMES = ["person", "car", "bicycle"]
class_counts = Counter()
resolution_counts = Counter()
scene_counts = Counter()
source_counts = Counter()
# YOLO 标签每行第一个字段是类别 ID,其余字段是归一化框坐标。
for label_path in LABEL_DIR.glob("*.txt"):
for line in label_path.read_text(encoding="utf-8").splitlines():
if not line.strip():
continue
class_id = int(line.split()[0])
name = CLASS_NAMES[class_id] if class_id < len(CLASS_NAMES) else f"class-{class_id}"
class_counts[name] += 1
for image_path in IMAGE_DIR.iterdir():
if not image_path.is_file():
continue
try:
with Image.open(image_path) as image:
resolution_counts[f"{image.width}x{image.height}"] += 1
except OSError:
pass
with META_FILE.open(encoding="utf-8", newline="") as file:
for row in csv.DictReader(file):
scene_counts[row["scene"]] += 1
source_counts[row["source"]] += 1
print("classes:", class_counts.most_common())
print("resolutions:", resolution_counts.most_common(5))
print("scenes:", scene_counts.most_common())
print("sources:", source_counts.most_common())预期输出
classes: [('car', <VALUE>), ('person', <VALUE>), ('bicycle', <VALUE>)]
resolutions: [('1920x1080', <VALUE>), ('1280x720', <VALUE>)]
scenes: [('day', <VALUE>), ('night', <VALUE>), ('indoor', <VALUE>)]
sources: [('camera-a', <VALUE>), ('camera-b', <VALUE>), ('public-set', <VALUE>)]<VALUE> 取决于实际数据集。重点不是追求某个固定比例,而是找出与真实部署环境明显不一致的集中、缺失和长尾现象。
从数字里识别数据缺口
类别不均衡不能只看最大类与最小类的倍数。如果线上本来就很少出现自行车,那么训练集里自行车少一些是合理的;真正的问题是训练数据与部署环境不匹配。例如夜间行人是关键业务场景,但统计中夜间样本只占 2%,这就属于明确缺口。
分辨率同样需要结合部署端判断。若训练集几乎都是高清近景,而实际摄像头包含大量低分辨率远景目标,即使类别数量均衡,模型对小目标的召回率仍可能明显下降。来源维度则要警惕连续视频抽帧:几千张相邻帧看似增加了样本数,实际上信息高度重复。
把统计结果转成采集动作
统计完成后,应把异常直接映射为行动。某类实例明显不足,就优先补采该类别;夜间、雨天或远距离场景稀缺,就按场景定向采集;单一相机来源占比过高,则增加不同地点、设备和拍摄角度的数据。
在重新划分训练集、验证集和测试集时,还应按来源分组,避免同一视频的相邻帧同时进入训练集和验证集。最终需要追求的不是一张“均匀”的统计表,而是一份能够覆盖真实业务分布、同时保留足够困难样本的数据集。