计算机视觉 / 系统课时
从视频提取图像
从视频提取图像
视频可以快速积累大量候选样本,但连续帧高度相似,直接全部导出只会制造冗余。本节使用 FFmpeg 按固定时间间隔抽帧,再通过清晰度、重复度和场景覆盖进行筛选,得到适合进入标注流程的候选图像。
学习目标
- 使用 FFmpeg 按时间间隔从视频中抽取图像
- 根据运动速度和场景变化选择合理抽帧频率
- 清理模糊、重复和低价值帧后再进入标注
先确定抽帧频率
抽帧频率应由场景变化速度决定,而不是固定套用某个数字。静态机位、目标移动缓慢的视频可以每 2~5 秒取一帧;快速运动、镜头频繁切换或目标短暂出现时,则需要更密的采样。
判断标准是相邻候选帧是否提供了新的目标姿态、位置、背景或光照信息。如果连续十几帧几乎一样,采样就过密;如果关键目标只出现一瞬间却没有留下任何帧,采样就过稀。

用 FFmpeg 按时间间隔抽帧
下面示例每 2 秒抽取 1 张图片。先把输入视频放在 <PATH>/input.mp4,输出目录为 <PATH>/frames。fps=1/2 表示每两秒生成一帧,-q:v 2 用较高 JPEG 质量保存候选图像。
mkdir -p <PATH>/frames
ffmpeg -hide_banner -loglevel error -i <PATH>/input.mp4 -vf "fps=1/2" -q:v 2 <PATH>/frames/frame_%06d.jpg
find <PATH>/frames -type f -name 'frame_*.jpg' | wc -l预期输出
<VALUE><VALUE> 是实际导出的图片数量,会随视频时长变化。例如 10 分钟视频按每 2 秒一帧抽取,理论上约得到 300 张,实际数量还可能受到视频起止时间和时间戳影响。
清理模糊帧和近重复帧
抽帧完成后先浏览缩略图序列。明显失焦、运动模糊严重、目标完全不可辨认的帧可以删除;连续几十张构图几乎一致时,只保留能代表不同姿态、位置、背景或遮挡情况的少量图片。
近重复帧最大的风险不是占用磁盘,而是让训练数据被某一小段视频“刷屏”。如果训练集和验证集又从同一连续片段随机切分,相邻帧可能同时落入两个集合,造成数据泄漏,使验证指标看起来异常乐观。
按视频来源划分训练与验证
完成清洗后再划分数据集。对于连续视频,优先按视频文件、拍摄批次或时间段切分,而不是把所有抽出的图片随机分配到训练集和验证集。这样能够降低近重复内容跨集合出现的概率。
最终验收时,随机打开若干候选图像,确认目标可以准确标注、样本之间存在有效视觉差异,并检查不同视频来源是否都有覆盖。抽帧的目标不是制造最多图片,而是用尽量少的冗余换取尽量多的有效视觉变化。