计算机视觉 / 系统课时

估算数据规模

估算数据规模

YOLO 训练并不存在一个对所有任务都适用的固定图片数量。本节建立一套可执行的估算方法,从类别数量、场景变化、目标出现频率和识别难度出发,得到首轮采集规模,并通过训练结果继续补充真正缺失的数据。

学习目标

  • 区分图片数量、目标实例数量和类别覆盖度
  • 根据场景变化与识别难度估算首轮数据规模
  • 用验证集表现决定后续应该补哪一类数据

不要只统计图片张数

目标检测训练的有效数据量至少有三个维度:图片数量、每个类别的目标实例数量,以及这些实例覆盖了多少真实场景。两千张几乎相同的固定机位图片,未必比五百张覆盖多种距离、光照和背景的图片更有价值。

规划时应以“每个类别在关键场景中出现了多少次”为核心指标。假设一张图平均包含 8 个行人,那么 500 张图片可能提供约 4000 个行人实例;而一个稀有类别即使存在于同样数量的图片中,也可能只有几百个实例。

建立首轮规模基线

可以先为每个类别设置一个基础实例量,再根据任务复杂度增加采集量。这里的数值不是模型训练的硬性门槛,而是用于启动项目和发现数据缺口的规划基线。

条件 数据压力 规划含义
外观稳定、背景单一、目标较大 较低 可以从较小数据集开始验证
多地点、多光照、多视角 中等 每种关键场景都需要稳定覆盖
小目标、遮挡严重、类别相似 较高 需要更多实例和更多困难样本
类别出现频率很低 较高 应主动采集,不能依赖自然随机出现

例如,一个 4 类工业零件检测任务,如果固定相机、背景稳定且零件尺寸较大,可以先确保每类获得数百到上千个有效实例,再训练基线模型。若任务变成道路监控,同样的类别数量还要面对白天、夜间、雨天、远近尺度和遮挡,所需数据通常会明显增加。

把场景变化计入预算

可以用一个简单的乘法思路理解采集压力:基础实例需求乘以必须覆盖的主要场景,再根据目标难度增加余量。实际执行时不要机械追求乘积结果,而应检查每种关键组合是否真的有样本。

例如要检测安全帽,可能至少需要覆盖室内与室外、近距离与远距离、正面与侧面,以及不同程度的人员遮挡。如果某个组合在真实业务中经常出现,却只占训练集极少比例,整体图片数量再大也不能说明数据充分。

关注类别不平衡

数据集总量达到目标后,还要单独查看每个类别。若常见类别有数万个实例,而关键稀有类别只有几十个,模型很容易表现出明显偏差。

遇到不平衡时,优先补充真实稀有样本,而不是简单复制已有图片。重复数据不会增加新的视觉信息,还可能让模型过度记住特定背景或目标外观。

同时要区分“业务本来就稀有”和“采集流程漏掉了”。如果某类目标真实出现率低,但漏检代价很高,就应设计定向采集任务,例如寻找特定地点、时间段或异常工况,而不是等待它自然出现在随机数据中。

用首轮训练反推缺口

数据规模规划不应在训练开始前一次性定死。更有效的方法是先完成一个覆盖主要场景的首轮数据集,训练基线模型,再按错误类型继续补数据。

验证时重点观察三个方向:某个类别是否整体召回偏低,某种场景是否集中漏检,以及错误是否主要发生在小目标、遮挡或相似类别之间。如果问题集中在夜间,就补夜间数据;如果主要漏掉远距离目标,就增加远距离实例,而不是平均扩大全部类别。

当新增一批针对性数据后,应保持独立验证集进行比较。只有真实业务场景中的错误持续减少,增加的数据量才产生了价值。数据规模因此不是一个预先确定的最终数字,而是从“覆盖足够的首轮样本”开始,通过模型错误不断逼近任务所需的数据分布。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

估算数据规模

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通