计算机视觉 / 系统课时

统计样本分布

统计样本分布

训练集规模看起来足够,并不代表数据真的均衡。本节把类别、图像分辨率、场景和数据来源转成可核对的统计结果,用这些数字定位少样本类别、单一场景依赖和来源偏差,为补采与清洗提供依据。

学习目标

  • 统计类别数量和占比,识别明显的长尾与缺失类别
  • 汇总分辨率、场景和来源分布,发现采集覆盖不足
  • 根据统计结果制定可执行的补采、清洗与数据划分策略

先明确要统计什么

样本分布至少要从四个维度检查。类别分布回答每类目标出现了多少次;分辨率分布反映输入尺寸是否过于集中;场景分布检查白天、夜晚、室内、室外等条件是否覆盖;来源分布则用于识别某台相机、某段视频或某个公开数据集占比过高的问题。

类别统计应按“目标实例数”计算,而不是只统计包含该类别的图片数。一张图片里出现 5 辆车,就应计入 5 个 car 实例。与此同时还要保留图片级数量,因为少数图片承载大量同类目标时,同样可能造成数据相关性过强。

用脚本生成分布报告

假设数据集使用 YOLO 标签格式,图像位于 images/,同名标签位于 labels/。另外准备 metadata.csv,记录每张图片所属场景和来源:表头为 file,scene,source,例如 0001.jpg,night,camera-a。

下面脚本会同时统计类别实例数、常见分辨率、场景和来源。运行前需要安装 Pillow:python -m pip install pillow。

python
from collections import Counter
from pathlib import Path
import csv
from PIL import Image

IMAGE_DIR = Path("images")
LABEL_DIR = Path("labels")
META_FILE = Path("metadata.csv")
CLASS_NAMES = ["person", "car", "bicycle"]

class_counts = Counter()
resolution_counts = Counter()
scene_counts = Counter()
source_counts = Counter()

# YOLO 标签每行第一个字段是类别 ID,其余字段是归一化框坐标。
for label_path in LABEL_DIR.glob("*.txt"):
    for line in label_path.read_text(encoding="utf-8").splitlines():
        if not line.strip():
            continue
        class_id = int(line.split()[0])
        name = CLASS_NAMES[class_id] if class_id < len(CLASS_NAMES) else f"class-{class_id}"
        class_counts[name] += 1

for image_path in IMAGE_DIR.iterdir():
    if not image_path.is_file():
        continue
    try:
        with Image.open(image_path) as image:
            resolution_counts[f"{image.width}x{image.height}"] += 1
    except OSError:
        pass

with META_FILE.open(encoding="utf-8", newline="") as file:
    for row in csv.DictReader(file):
        scene_counts[row["scene"]] += 1
        source_counts[row["source"]] += 1

print("classes:", class_counts.most_common())
print("resolutions:", resolution_counts.most_common(5))
print("scenes:", scene_counts.most_common())
print("sources:", source_counts.most_common())

预期输出

text
classes: [('car', <VALUE>), ('person', <VALUE>), ('bicycle', <VALUE>)]
resolutions: [('1920x1080', <VALUE>), ('1280x720', <VALUE>)]
scenes: [('day', <VALUE>), ('night', <VALUE>), ('indoor', <VALUE>)]
sources: [('camera-a', <VALUE>), ('camera-b', <VALUE>), ('public-set', <VALUE>)]

<VALUE> 取决于实际数据集。重点不是追求某个固定比例,而是找出与真实部署环境明显不一致的集中、缺失和长尾现象。

从数字里识别数据缺口

类别不均衡不能只看最大类与最小类的倍数。如果线上本来就很少出现自行车,那么训练集里自行车少一些是合理的;真正的问题是训练数据与部署环境不匹配。例如夜间行人是关键业务场景,但统计中夜间样本只占 2%,这就属于明确缺口。

分辨率同样需要结合部署端判断。若训练集几乎都是高清近景,而实际摄像头包含大量低分辨率远景目标,即使类别数量均衡,模型对小目标的召回率仍可能明显下降。来源维度则要警惕连续视频抽帧:几千张相邻帧看似增加了样本数,实际上信息高度重复。

把统计结果转成采集动作

统计完成后,应把异常直接映射为行动。某类实例明显不足,就优先补采该类别;夜间、雨天或远距离场景稀缺,就按场景定向采集;单一相机来源占比过高,则增加不同地点、设备和拍摄角度的数据。

在重新划分训练集、验证集和测试集时,还应按来源分组,避免同一视频的相邻帧同时进入训练集和验证集。最终需要追求的不是一张“均匀”的统计表,而是一份能够覆盖真实业务分布、同时保留足够困难样本的数据集。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

统计样本分布

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通