编码与格式 / 系统课时
录制摄像头视频并监控帧丢失
录制摄像头视频并监控帧丢失
本课使用 FFmpeg 从本地摄像头录制一段 20 秒的 MP4 视频,同时观察采集帧率、编码速度和时间戳。完成后,你可以使用 FFprobe 核对实际帧数,并区分设备采集不足、编码处理过慢以及输出阶段重复帧等问题。
学习目标
- 使用 FFmpeg 选择摄像头、分辨率和帧率,完成视频录制。
- 读取录制日志与 FFprobe 统计,计算实际平均帧率。
- 判断丢帧、重复帧和帧率波动的原因,并采取对应措施。
确认摄像头与采集格式
以下操作以 Linux、Video4Linux2(V4L2)摄像头和 FFmpeg 6.1 或更新版本为例。需要系统能够访问 /dev/video0,且 FFmpeg 编译时启用了 V4L2 输入和 libx264 编码器。
首先检查工具和摄像头节点:
ffmpeg -version
ffmpeg -hide_banner -devices
ls -l /dev/video*预期结果:版本信息正常显示,设备列表包含 video4linux2 或 v4l2,并且存在摄像头设备节点。设备编号因机器而异,并非所有 /dev/video* 节点都能提供图像。
然后查询摄像头支持的格式:
ffmpeg -hide_banner -f v4l2 -list_formats all -i /dev/video0预期输出示例(具体格式取决于设备):
[video4linux2,v4l2 @ <ID>] Raw : yuyv422 : YUYV 4:2:2 : 640x480
[video4linux2,v4l2 @ <ID>] Compressed: mjpeg : Motion-JPEG : 1280x720这条命令只查询能力,不会创建视频文件;部分版本查询结束时显示退出提示,不代表摄像头故障。实际设备通常还会列出其他分辨率。
本课选择 MJPEG、1280×720、30 fps。MJPEG 相比未压缩的 YUYV 通常能降低 USB 传输带宽,但需要解码后再编码为 H.264。如果设备没有这个组合,应选择实际支持的格式,并调整后续命令。
录制视频并保留采集日志
采集链路中有几个容易混淆的位置:摄像头产生帧,采集接口提供帧及时间戳,FFmpeg 解码与编码,最后将压缩帧写入 MP4。丢失可能发生在进入 FFmpeg 之前,也可能发生在处理或时间戳同步阶段。

执行下面的完整录制命令:
# 采集 20 秒,保留源帧时间戳,避免主动转换为固定输出帧率
ffmpeg -hide_banner -stats -loglevel info \
-thread_queue_size 512 \
-f v4l2 -input_format mjpeg \
-video_size 1280x720 -framerate 30 \
-i /dev/video0 \
-t 20 -an \
-c:v libx264 -preset veryfast -crf 23 \
-pix_fmt yuv420p -fps_mode passthrough \
-y camera.mp4 2> capture.log预期结果:当前目录生成 camera.mp4 和 capture.log。录制正常结束时,日志末尾会出现类似统计:
frame= 600 fps= 30 q=... size=... time=00:00:19.96 bitrate=... speed=1.00x以上是理想情况下的示意,帧数、时间、速度及码率都可能不同。-t 20 以输出时间轴控制时长,不保证恰好取得 600 帧;实际录制开始时间、设备时间戳和最后一帧位置也会影响结果。
几个关键参数的含义:
| 参数 | 本次取值 | 作用 |
|---|---|---|
-framerate |
30 |
向输入设备请求每秒 30 帧 |
-thread_queue_size |
512 |
调整输入包队列容量,不保证消除设备端丢帧 |
-preset |
veryfast |
选择较快的 H.264 编码预设 |
-crf |
23 |
控制 x264 恒定质量模式的质量与体积权衡 |
-fps_mode |
passthrough |
尽量保留输入帧及时间戳,不主动补齐恒定帧率 |
-fps_mode passthrough 适合观察源帧间隔,但并不保证 MP4 中每个时间戳都原样保留:编码器时间基和封装器仍可能产生时间戳量化。部分摄像头使用异常时间戳时,还需要针对设备调整。
核对实际帧数与帧率
录制完成后,用 FFprobe 读取文件中的视频流信息。不要仅凭命令中请求的 30 fps,就断定实际每秒一定采集了 30 帧。
ffprobe -v error -select_streams v:0 \
-count_frames \
-show_entries stream=width,height,r_frame_rate,avg_frame_rate,nb_read_frames,duration \
-of default=noprint_wrappers=1 camera.mp4预期输出示例(理想的 20 秒录制):
width=1280
height=720
r_frame_rate=30/1
avg_frame_rate=30/1
duration=20.000000
nb_read_frames=600nb_read_frames 是 FFprobe 实际读取并计数的视频帧数。avg_frame_rate 是文件报告的平均帧率,r_frame_rate 不等于逐帧实测速率;两个字段都不能单独证明采集是否丢帧。
假设文件实际包含 570 帧,视频流持续时间为 20 秒,则平均帧率为:
相对于期望的 600 帧,数量差为 30 帧,即 5%。但这只是相对期望帧数的差额,不是已经确认的设备丢帧率。启动延迟、有效时间区间、非均匀帧间隔和时间戳处理都可能造成差异。
如需观察每帧的呈现时间戳,可以进一步导出帧级数据:
ffprobe -v error -select_streams v:0 \
-show_entries frame=best_effort_timestamp_time \
-of csv=p=0 camera.mp4 > frame-times.csv预期结果:生成 frame-times.csv,每行记录一帧的时间戳。30 fps 的正常相邻间隔约为 0.0333 秒;若出现 0.0667 秒的间隔,说明相当于跨过了一个 30 fps 帧周期,但仍不能仅凭该间隔确定帧在哪个环节丢失。
区分丢帧、重复帧和编码拥塞
出现画面卡顿时,首先看文件时间戳,再看原始采集与编码负载。三类问题的现象和处理方式不同。
| 现象 | 典型证据 | 优先处理 |
|---|---|---|
| 采集帧间隔变大 | 相邻时间戳出现约 67 ms、100 ms 的间隔 | 检查摄像头帧率、曝光时间、USB 带宽和驱动 |
| 输出重复帧 | 连续解码帧画面完全相同,且时间戳仍持续推进 | 检查源画面是否静止以及是否启用了恒定帧率补帧 |
| 编码处理过慢 | FFmpeg 的 speed 长时间低于 1x,队列积压或出现警告 |
降低分辨率、使用更快编码预设或硬件编码 |
FFmpeg 进度中的 frame 是处理到输出端的帧数,fps 通常反映处理吞吐,speed 表示处理媒体时间相对于墙钟时间的速度。它们不是摄像头驱动提供的精确丢帧计数器。
可以查看本次录制日志中的异常信息:
grep -Ei 'drop|dup|lost|buffer|queue|warning|error|speed=' capture.log预期结果:命中时显示相应日志行,没有命中时可能没有输出。某些 FFmpeg 运行模式会报告 dup、drop 计数,但使用 passthrough 时即使没有这些计数,也不能证明设备没有丢帧。
重复画面还要区分静止场景与真正的复制帧。对着摄像头持续移动一个秒表或带明显变化的物体,再检查相邻画面的内容与时间戳。如果画面完全相同但拍摄场景本来没有变化,就不能认定发生了重复帧故障。
修复问题并完成验收
先录制一段 20 秒、720p、30 fps 的基准样本,之后一次只修改一个条件,才能判断优化是否有效。
- 如果摄像头无法打开,关闭占用摄像头的会议软件,检查
/dev/video0是否正确、当前用户是否有设备访问权限。 - 如果出现格式不支持错误,重新查询
-list_formats all,改用设备真正支持的分辨率、帧率和输入格式。 - 如果帧间隔持续异常,先尝试 640×480、30 fps;低光环境下自动曝光也可能使设备无法维持目标帧率。
- 如果编码吞吐不足,可把
-preset veryfast改为-preset ultrafast复测,同时接受可能增大的文件体积。 - 如果出现输入队列阻塞警告,检查 CPU 负载与磁盘写入速度。增大队列只能缓冲短暂波动,不能解决持续处理不足。
验收时应同时满足以下条件:文件可以正常播放;分辨率与设备设置一致;录制时长接近 20 秒;帧数及时间戳间隔符合实际采集能力;连续运动画面没有明显卡顿。
对于 30 fps,理想帧间隔约为 33.3 ms。实际验收可统计超过 50 ms 的间隔次数,并在连续运动测试中观察是否存在明显停顿。这个 50 ms 是本次实验的分析阈值,不是 FFmpeg 或摄像头的统一质量标准。
如果需要精确计算设备级丢帧率,应进一步读取 V4L2 缓冲区序号或驱动统计,并与 FFmpeg 接收到的帧建立对应关系。只依靠录制后的 MP4 文件,可以评估输出帧数和播放连续性,却无法可靠还原每个丢帧发生的位置。