流媒体与实时通信 / 系统课时
采集时钟如何影响音画同步
采集时钟如何影响音画同步
本课解决采集阶段最常见的同步问题:摄像头按帧产生视频、麦克风按采样产生音频,而两者未必共享同一个稳定时钟。你将能从时间基和时间戳判断漂移,并定位“开始同步、逐渐嘴形错位、越播越严重”这类问题。
学习目标
- 区分系统时钟、设备时钟、视频帧时间戳和音频采样时间。
- 用具体时间基检查音频与视频是否持续漂移。
- 判断应优先校准时钟、修正时间戳,还是在后续链路做重采样或丢帧处理。
先分清三个时间源
直播采集通常同时面对系统时钟、摄像头时钟和声卡时钟。系统时钟负责记录墙上时间或调度任务;摄像头以自己的采样周期产出视频帧;声卡则依据音频采样时钟持续产生采样帧。三者的频率只要存在微小偏差,运行时间一长就会累计成可见延迟。
以 30 fps 视频为例,理想帧间隔约为 。48 kHz 音频每个采样周期约为 ;一秒形成 48000 个采样。若编码器把这些媒体统一映射到 90 kHz 时间基,30 fps 视频每帧可按 3000 tick 递增,而音频不能简单按“每帧一个固定 tick”理解,必须根据实际采样数换算时间戳。

时间戳是怎么来的
视频时间戳通常以采集帧的产生时刻为依据,再换算到编码器或传输链路采用的时间基。音频时间戳则对应一段音频采样帧的起始位置。例如 48 kHz 下,一包包含 960 个采样,代表 的音频时长。下一包若连续采集,理论上时间戳应前进 20 ms。
判断同步时不要只看“当前音频包和视频帧是否同时到达”。应比较它们在同一时间基上的媒体时间。例如某时刻视频 PTS 对应 120.000 s,音频 PTS 对应 119.980 s,则音频相对视频落后约 20 ms。若 10 秒后变成 119.900 s,而视频仍对应 130.000 s,则偏差已扩大到约 100 ms,这就是漂移,而不是单纯的固定延迟。
一个实用指标是同步误差:。若 长时间保持接近常数,通常属于固定偏移;若它随时间持续增大或减小,则更像采样时钟或帧时钟存在频率偏差。
用数字确认是不是时钟漂移
假设视频真实产生速率为 30.000 fps,音频设备实际速率却是 48000.048 Hz,偏差为 1 ppm。单看 1 ppm 几乎没有感觉,但连续运行 秒后,累计时间差约为 。如果设备偏差达到 100 ppm,同样运行一小时就会积累约 360 ms,已经足以明显影响口型同步。
排查时可固定观察一段较长窗口,例如连续记录 10 分钟的音视频时间戳,计算首尾同步误差变化量。如果开始时为 +12 ms,结束时为 +72 ms,则 600 秒内新增 60 ms,漂移速率约为 ,折算约 100 ppm。这个量级已经值得检查声卡、采集卡或摄像头时钟来源。
如何定位和修正
- 先保存一段同时包含音频 PTS、视频 PTS、采集时间和设备标识的原始日志,至少覆盖 5~10 分钟,避免只分析开头几秒。
- 将音频和视频转换到同一时间单位,分别计算每个样本的媒体时间,再观察 是否呈线性漂移。
- 若误差近似常数,例如始终约 80 ms,优先查初始时间戳、队列延迟或设备启动时刻;不要先做重采样。
- 若误差持续扩大,例如从 20 ms 变成 140 ms,再检查音频采样时钟、视频帧周期以及时间戳是否由不同硬件时钟独立生成。
- 长期运行的系统可使用统一的主时钟作为同步参考,并让音频做小幅重采样、视频在必要时进行节奏调整,使累计误差不会无限增长。
例如采集系统决定以系统单调时钟作为主时钟,而声卡每秒实际多产生约 4.8 个采样。与其积累成越来越大的音画偏移,更合理的做法是在允许范围内动态调整音频重采样比例,把误差慢慢吃掉。对于视频,则应优先保持真实帧时序,只有在明确检测到长期漂移且策略允许时才进行丢帧或重复帧。
最终验收可以设一个明确门槛:测试 30 分钟直播后,抽样检查首段、中段和末段的音画偏差;若首段约 30 ms、末段仍控制在 60 ms 内,说明误差没有无限累积。若偏差从 30 ms 持续增长到 300 ms,则应回到采集时钟和时间戳生成处继续定位,而不是只调播放端的音画延迟参数。