计算机视觉 / 系统课时

从视频提取图像

从视频提取图像

视频可以快速积累大量候选样本,但连续帧高度相似,直接全部导出只会制造冗余。本节使用 FFmpeg 按固定时间间隔抽帧,再通过清晰度、重复度和场景覆盖进行筛选,得到适合进入标注流程的候选图像。

学习目标

  • 使用 FFmpeg 按时间间隔从视频中抽取图像
  • 根据运动速度和场景变化选择合理抽帧频率
  • 清理模糊、重复和低价值帧后再进入标注

先确定抽帧频率

抽帧频率应由场景变化速度决定,而不是固定套用某个数字。静态机位、目标移动缓慢的视频可以每 2~5 秒取一帧;快速运动、镜头频繁切换或目标短暂出现时,则需要更密的采样。

判断标准是相邻候选帧是否提供了新的目标姿态、位置、背景或光照信息。如果连续十几帧几乎一样,采样就过密;如果关键目标只出现一瞬间却没有留下任何帧,采样就过稀。

视频抽帧与清洗流程图

用 FFmpeg 按时间间隔抽帧

下面示例每 2 秒抽取 1 张图片。先把输入视频放在 <PATH>/input.mp4,输出目录为 <PATH>/frames。fps=1/2 表示每两秒生成一帧,-q:v 2 用较高 JPEG 质量保存候选图像。

bash
mkdir -p <PATH>/frames
ffmpeg -hide_banner -loglevel error -i <PATH>/input.mp4 -vf "fps=1/2" -q:v 2 <PATH>/frames/frame_%06d.jpg
find <PATH>/frames -type f -name 'frame_*.jpg' | wc -l

预期输出

text
<VALUE>

<VALUE> 是实际导出的图片数量,会随视频时长变化。例如 10 分钟视频按每 2 秒一帧抽取,理论上约得到 300 张,实际数量还可能受到视频起止时间和时间戳影响。

清理模糊帧和近重复帧

抽帧完成后先浏览缩略图序列。明显失焦、运动模糊严重、目标完全不可辨认的帧可以删除;连续几十张构图几乎一致时,只保留能代表不同姿态、位置、背景或遮挡情况的少量图片。

近重复帧最大的风险不是占用磁盘,而是让训练数据被某一小段视频“刷屏”。如果训练集和验证集又从同一连续片段随机切分,相邻帧可能同时落入两个集合,造成数据泄漏,使验证指标看起来异常乐观。

按视频来源划分训练与验证

完成清洗后再划分数据集。对于连续视频,优先按视频文件、拍摄批次或时间段切分,而不是把所有抽出的图片随机分配到训练集和验证集。这样能够降低近重复内容跨集合出现的概率。

最终验收时,随机打开若干候选图像,确认目标可以准确标注、样本之间存在有效视觉差异,并检查不同视频来源是否都有覆盖。抽帧的目标不是制造最多图片,而是用尽量少的冗余换取尽量多的有效视觉变化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从视频提取图像

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通