编码与格式 / 系统课时

录制摄像头视频并监控帧丢失

录制摄像头视频并监控帧丢失

本课使用 FFmpeg 从本地摄像头录制一段 20 秒的 MP4 视频,同时观察采集帧率、编码速度和时间戳。完成后,你可以使用 FFprobe 核对实际帧数,并区分设备采集不足、编码处理过慢以及输出阶段重复帧等问题。

学习目标

  • 使用 FFmpeg 选择摄像头、分辨率和帧率,完成视频录制。
  • 读取录制日志与 FFprobe 统计,计算实际平均帧率。
  • 判断丢帧、重复帧和帧率波动的原因,并采取对应措施。

确认摄像头与采集格式

以下操作以 Linux、Video4Linux2(V4L2)摄像头和 FFmpeg 6.1 或更新版本为例。需要系统能够访问 /dev/video0,且 FFmpeg 编译时启用了 V4L2 输入和 libx264 编码器。

首先检查工具和摄像头节点:

bash
ffmpeg -version
ffmpeg -hide_banner -devices
ls -l /dev/video*

预期结果:版本信息正常显示,设备列表包含 video4linux2 或 v4l2,并且存在摄像头设备节点。设备编号因机器而异,并非所有 /dev/video* 节点都能提供图像。

然后查询摄像头支持的格式:

bash
ffmpeg -hide_banner -f v4l2 -list_formats all -i /dev/video0

预期输出示例(具体格式取决于设备):

text
[video4linux2,v4l2 @ <ID>] Raw       :     yuyv422 : YUYV 4:2:2 : 640x480
[video4linux2,v4l2 @ <ID>] Compressed:       mjpeg : Motion-JPEG : 1280x720

这条命令只查询能力,不会创建视频文件;部分版本查询结束时显示退出提示,不代表摄像头故障。实际设备通常还会列出其他分辨率。

本课选择 MJPEG、1280×720、30 fps。MJPEG 相比未压缩的 YUYV 通常能降低 USB 传输带宽,但需要解码后再编码为 H.264。如果设备没有这个组合,应选择实际支持的格式,并调整后续命令。

录制视频并保留采集日志

采集链路中有几个容易混淆的位置:摄像头产生帧,采集接口提供帧及时间戳,FFmpeg 解码与编码,最后将压缩帧写入 MP4。丢失可能发生在进入 FFmpeg 之前,也可能发生在处理或时间戳同步阶段。

摄像头采集编码与丢帧观测位置

执行下面的完整录制命令:

bash
# 采集 20 秒,保留源帧时间戳,避免主动转换为固定输出帧率
ffmpeg -hide_banner -stats -loglevel info \
  -thread_queue_size 512 \
  -f v4l2 -input_format mjpeg \
  -video_size 1280x720 -framerate 30 \
  -i /dev/video0 \
  -t 20 -an \
  -c:v libx264 -preset veryfast -crf 23 \
  -pix_fmt yuv420p -fps_mode passthrough \
  -y camera.mp4 2> capture.log

预期结果:当前目录生成 camera.mp4 和 capture.log。录制正常结束时,日志末尾会出现类似统计:

text
frame=  600 fps= 30 q=... size=... time=00:00:19.96 bitrate=... speed=1.00x

以上是理想情况下的示意,帧数、时间、速度及码率都可能不同。-t 20 以输出时间轴控制时长,不保证恰好取得 600 帧;实际录制开始时间、设备时间戳和最后一帧位置也会影响结果。

几个关键参数的含义:

参数 本次取值 作用
-framerate 30 向输入设备请求每秒 30 帧
-thread_queue_size 512 调整输入包队列容量,不保证消除设备端丢帧
-preset veryfast 选择较快的 H.264 编码预设
-crf 23 控制 x264 恒定质量模式的质量与体积权衡
-fps_mode passthrough 尽量保留输入帧及时间戳,不主动补齐恒定帧率

-fps_mode passthrough 适合观察源帧间隔,但并不保证 MP4 中每个时间戳都原样保留:编码器时间基和封装器仍可能产生时间戳量化。部分摄像头使用异常时间戳时,还需要针对设备调整。

核对实际帧数与帧率

录制完成后,用 FFprobe 读取文件中的视频流信息。不要仅凭命令中请求的 30 fps,就断定实际每秒一定采集了 30 帧。

bash
ffprobe -v error -select_streams v:0 \
  -count_frames \
  -show_entries stream=width,height,r_frame_rate,avg_frame_rate,nb_read_frames,duration \
  -of default=noprint_wrappers=1 camera.mp4

预期输出示例(理想的 20 秒录制):

text
width=1280
height=720
r_frame_rate=30/1
avg_frame_rate=30/1
duration=20.000000
nb_read_frames=600

nb_read_frames 是 FFprobe 实际读取并计数的视频帧数。avg_frame_rate 是文件报告的平均帧率,r_frame_rate 不等于逐帧实测速率;两个字段都不能单独证明采集是否丢帧。

假设文件实际包含 570 帧,视频流持续时间为 20 秒,则平均帧率为:

favg=57020=28.5 fpsf_{avg}=\frac{570}{20}=28.5\ \text{fps}

相对于期望的 600 帧,数量差为 30 帧,即 5%。但这只是相对期望帧数的差额,不是已经确认的设备丢帧率。启动延迟、有效时间区间、非均匀帧间隔和时间戳处理都可能造成差异。

如需观察每帧的呈现时间戳,可以进一步导出帧级数据:

bash
ffprobe -v error -select_streams v:0 \
  -show_entries frame=best_effort_timestamp_time \
  -of csv=p=0 camera.mp4 > frame-times.csv

预期结果:生成 frame-times.csv,每行记录一帧的时间戳。30 fps 的正常相邻间隔约为 0.0333 秒;若出现 0.0667 秒的间隔,说明相当于跨过了一个 30 fps 帧周期,但仍不能仅凭该间隔确定帧在哪个环节丢失。

区分丢帧、重复帧和编码拥塞

出现画面卡顿时,首先看文件时间戳,再看原始采集与编码负载。三类问题的现象和处理方式不同。

现象 典型证据 优先处理
采集帧间隔变大 相邻时间戳出现约 67 ms、100 ms 的间隔 检查摄像头帧率、曝光时间、USB 带宽和驱动
输出重复帧 连续解码帧画面完全相同,且时间戳仍持续推进 检查源画面是否静止以及是否启用了恒定帧率补帧
编码处理过慢 FFmpeg 的 speed 长时间低于 1x,队列积压或出现警告 降低分辨率、使用更快编码预设或硬件编码

FFmpeg 进度中的 frame 是处理到输出端的帧数,fps 通常反映处理吞吐,speed 表示处理媒体时间相对于墙钟时间的速度。它们不是摄像头驱动提供的精确丢帧计数器。

可以查看本次录制日志中的异常信息:

bash
grep -Ei 'drop|dup|lost|buffer|queue|warning|error|speed=' capture.log

预期结果:命中时显示相应日志行,没有命中时可能没有输出。某些 FFmpeg 运行模式会报告 dup、drop 计数,但使用 passthrough 时即使没有这些计数,也不能证明设备没有丢帧。

重复画面还要区分静止场景与真正的复制帧。对着摄像头持续移动一个秒表或带明显变化的物体,再检查相邻画面的内容与时间戳。如果画面完全相同但拍摄场景本来没有变化,就不能认定发生了重复帧故障。

修复问题并完成验收

先录制一段 20 秒、720p、30 fps 的基准样本,之后一次只修改一个条件,才能判断优化是否有效。

  1. 如果摄像头无法打开,关闭占用摄像头的会议软件,检查 /dev/video0 是否正确、当前用户是否有设备访问权限。
  2. 如果出现格式不支持错误,重新查询 -list_formats all,改用设备真正支持的分辨率、帧率和输入格式。
  3. 如果帧间隔持续异常,先尝试 640×480、30 fps;低光环境下自动曝光也可能使设备无法维持目标帧率。
  4. 如果编码吞吐不足,可把 -preset veryfast 改为 -preset ultrafast 复测,同时接受可能增大的文件体积。
  5. 如果出现输入队列阻塞警告,检查 CPU 负载与磁盘写入速度。增大队列只能缓冲短暂波动,不能解决持续处理不足。

验收时应同时满足以下条件:文件可以正常播放;分辨率与设备设置一致;录制时长接近 20 秒;帧数及时间戳间隔符合实际采集能力;连续运动画面没有明显卡顿。

对于 30 fps,理想帧间隔约为 33.3 ms。实际验收可统计超过 50 ms 的间隔次数,并在连续运动测试中观察是否存在明显停顿。这个 50 ms 是本次实验的分析阈值,不是 FFmpeg 或摄像头的统一质量标准。

如果需要精确计算设备级丢帧率,应进一步读取 V4L2 缓冲区序号或驱动统计,并与 FFmpeg 接收到的帧建立对应关系。只依靠录制后的 MP4 文件,可以评估输出帧数和播放连续性,却无法可靠还原每个丢帧发生的位置。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

录制摄像头视频并监控帧丢失

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通