计算机视觉 / 系统课时

采集与筛选图像

采集与筛选图像

高质量训练集不是图片越多越好,而是关键场景覆盖充分、样本有效且分布接近真实业务。本课将建立采集矩阵,并完成重复、模糊、无关和泄漏风险图像的清理。

学习目标

  • 能按角度、距离、光照、遮挡和背景规划采集范围
  • 能判断困难样本与无效样本的区别
  • 能完成去重、筛选和数据集验收

用场景矩阵规划采集

采集前先列出模型上线后会遇到的变化维度,再把它们组合成场景矩阵。只在正面、近距离、光线充足的条件下拍摄,模型往往会在侧面、远距离、逆光或复杂背景中失效。

目标检测图像采集场景矩阵

可以先按下表建立最低覆盖清单,再根据业务环境补充季节、天气、摄像头型号或目标密度等维度。

维度 需要覆盖的变化 常见遗漏
角度 正面、侧面、俯视、倾斜 只拍最容易识别的正面
距离 近、中、远及不同目标尺寸 缺少小目标
光照 白天、弱光、逆光、局部阴影 夜间样本不足
遮挡 无遮挡、部分遮挡、密集重叠 困难样本被全部删除
背景 简单、杂乱、同色、反光 背景过于单一

采集数量不必平均分配,但应接近真实使用频率,同时为少见却重要的风险场景预留足够样本。验收时应查看每个场景是否“有代表性”,而不是只核对总图片数。

执行采集并保留来源信息

拍照或抽取视频帧时,应保留来源设备、地点、日期、场景标签和原始文件标识。来源信息能帮助后续发现某一摄像头偏色、某一地点样本过多,或训练集与验证集来自同一段视频的问题。

从视频抽帧不要逐帧保存。相邻帧几乎相同,会让数据量看似庞大,却不能增加有效变化。应按目标运动速度设置间隔,并在场景明显变化、目标姿态变化或遮挡关系变化时保留代表帧。

采集过程中还要遵守隐私与版权要求。涉及人脸、车牌、屏幕信息或受限场所时,应确认授权并按项目规则脱敏。无法确认来源和使用权限的网络图片,不应直接进入商业训练集。

按顺序筛选并验收

筛选时先删除损坏、无法解码和完全无关的文件,再处理严重模糊、曝光失控和目标小到无法辨认的图像。困难样本不能因为“不好看”就删除;只要人仍能依据规则判断目标,它们通常正是提升鲁棒性的关键数据。

随后进行重复检查。完全相同的文件可以直接去重;连拍或视频产生的近重复图像,应只保留姿态、遮挡或背景具有代表性的少量帧。若某类场景本来就稀少,去重时要避免把少数有效变化一并清空。

最后按来源分组划分训练集、验证集和测试集,避免同一视频相邻帧或同一连拍序列跨集合出现。完成后随机抽查一部分图像,确认文件可读、目标可见、场景分布合理、无明显重复,并记录删除原因,便于后续追溯。

验收结果应回答三个问题:真实环境中的关键变化是否都出现,低质量图像是否会妨碍人工判断,不同数据集之间是否存在近重复泄漏。只有三项都通过,数据才适合进入标注阶段。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

采集与筛选图像

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通