编码与格式 / 系统课时
同步录制音视频
同步录制音视频
当摄像头和麦克风由两个独立设备提供时,直接把两路输入写入同一文件,常会出现起点错位或录制越久偏差越大。本课用统一时间戳、输入队列和音频重采样建立稳定时间线,完成可验证的同步录制。
学习目标
- 理解启动偏移与时钟漂移的区别
- 使用 FFmpeg 合并独立的视频和音频采集设备
- 通过时间戳检查和试听验证同步结果
为什么两个设备会不同步
摄像头和麦克风通常各自使用硬件时钟。FFmpeg 启动两个输入时,设备打开耗时也不同,因此同步问题分为两类:固定偏移表现为全程都早或晚同样时长;时钟漂移则会随着录制时间增加而逐渐扩大。
稳定方案需要同时处理三件事:给两路输入建立可比较的采集时间,避免某一路读取不及时导致缓冲溢出,并让音频在很小范围内伸缩以追随输出时间线。

Linux 同步录制主示例
下面假设视频设备为 /dev/video0,麦克风为 ALSA 设备 hw:1,0。实际名称应替换为本机设备;命令持续录制,按 Ctrl+C 后等待 FFmpeg 写完文件尾。
ffmpeg -hide_banner -y \
-thread_queue_size 1024 -use_wallclock_as_timestamps 1 \
-f v4l2 -framerate 30 -video_size 1280x720 -i /dev/video0 \
-thread_queue_size 1024 -use_wallclock_as_timestamps 1 \
-f alsa -sample_rate 48000 -channels 2 -i hw:1,0 \
-filter_complex "[0:v]setpts=PTS-STARTPTS[v];[1:a]asetpts=PTS-STARTPTS,aresample=async=1000:first_pts=0[a]" \
-map "[v]" -map "[a]" \
-c:v libx264 -preset veryfast -pix_fmt yuv420p -fps_mode:v cfr \
-c:a aac -b:a 128k \
capture.mkv预期输出
Input #0, video4linux2,v4l2, from '/dev/video0':
Input #1, alsa, from 'hw:1,0':
Stream mapping:
Stream #0:0 -> setpts
Stream #1:0 -> asetpts
Output #0, matroska, to 'capture.mkv':
frame=<N> fps=<FPS> time=<TIME> speed=<SPEED>-thread_queue_size 为每个实时输入提供独立包队列,降低处理瞬时变慢时丢包的概率。-use_wallclock_as_timestamps 1 让设备包参考系统时钟;随后 setpts 与 asetpts 把两路首个有效数据归零,使录制从共同起点开始。
aresample=async=1000:first_pts=0 允许音频根据时间戳做渐进补偿,适合修正长期小幅漂移。它不能代替人工校准固定延迟;-fps_mode:v cfr 则让视频输出保持恒定帧率,必要时会复制或丢弃少量帧。
Windows 可把输入格式改为 dshow,macOS 可改为 avfoundation。无论平台如何,输入专用选项都必须写在对应的 -i 之前,不能把摄像头参数误应用到麦克风输入。
校验时间戳与实际观感
录制结束后,先检查两个流的起始时间。下面的输出值可能因封装器和 FFmpeg 版本略有不同,但两路通常应从接近零的位置开始。
ffprobe -v error \
-show_entries stream=index,codec_type,start_time \
-of default=noprint_wrappers=1 \
capture.mkv预期输出
index=0
codec_type=video
start_time=0.000000
index=1
codec_type=audio
start_time=0.000000时间戳接近不等于嘴型一定准确。应录制一次清晰拍手或敲击测试,观察声音峰值与画面接触帧。若声音始终提前约 120 毫秒,可在音频输入前加入 -itsoffset 0.120 延迟其时间戳;若偏差随时长扩大,则继续使用异步重采样并检查设备采样率是否稳定。
常见失败处理
出现 Thread message queue blocking 时,可适度增大输入队列,或降低分辨率、帧率和编码复杂度。队列只能吸收短时抖动,无法解决编码器长期跟不上实时速度的问题。
若 ALSA 报采样率或声道不支持,应改成设备实际支持的值。出现周期性爆音或音频长度异常时,优先确认系统没有同时对同一麦克风做额外采样率转换。