编码与格式 / 系统课时
选择主时钟并同步音视频帧
选择主时钟并同步音视频帧
播放器同时解码音频和视频时,两条处理链的速度并不相同。如果视频帧一解码完成就立即显示,声音与画面很容易错位。本篇通过主时钟选择、时间戳比较、视频帧等待和丢帧策略,搭建一套可以实际验证的音画同步规则。
学习目标
- 区分音频时钟、视频时钟和外部时钟,能根据播放场景选择主时钟。
- 根据帧时间戳计算音画偏差,决定显示、等待还是丢弃视频帧。
- 理解播放器如何处理时钟漂移、暂停、倍速和缓冲后的同步问题。
三种时钟应该如何选择
播放器中的时钟表示媒体时间线当前走到了哪里,通常用秒表示。它不是操作系统的墙上时间,而是供音频和视频共同参考的播放进度。
| 时钟 | 时间来源 | 适用场景 | 主要限制 |
|---|---|---|---|
| 音频时钟 | 已播放的音频采样进度,结合设备缓冲估算 | 普通视频、电影、音乐视频 | 必须考虑音频设备中尚未播放的缓冲 |
| 视频时钟 | 视频帧的展示时间戳及其显示进度 | 无音轨视频、特定视频主导场景 | 不能直接反映扬声器实际播放位置 |
| 外部时钟 | 系统单调时钟或经过同步的外部时间基准 | 实时直播、多个播放终端同步 | 需要处理网络抖动与音频设备时钟偏差 |
对于带声音的本地文件,通常优先选择音频时钟。音频设备按采样速率持续消耗数据,播放器难以随意暂停或跳过正在播放的声音,因此让视频追随音频更自然。
例如,48 kHz 的音频已经实际播放 96,000 个采样帧,播放进度就是 2.000 秒。这里的采样帧是同一采样时刻所有声道的一组样本,立体声不能因为有两个声道就把播放时长翻倍。
音频写入设备缓冲并不意味着已经播放。假设已经提交 2.200 秒音频,设备内还有约 0.180 秒待播放,估算音频时钟应为 2.020 秒,而不是 2.200 秒。实际实现还需要考虑设备报告的播放位置、输出延迟与时间戳基准。
当没有可用音轨时,可以使用视频时钟或外部时钟。直播如果要求贴近实时进度,可以选择外部时钟,但不能仅凭选择外部时钟就保证低延迟,还需要配合缓冲控制和必要的速度微调。
视频帧为什么需要等待和丢弃
解码器输出帧的时间不等于画面应当显示的时间。播放器通常依据视频帧的 PTS(Presentation Timestamp,展示时间戳),将它转换到与主时钟一致的媒体时间基准,再决定何时展示。
设视频帧的目标展示时间为 ,当前主时钟为 ,两者差值为:
- :视频帧对应的时间还未到达,通常需要等待。
- :视频帧接近目标时间,可以展示。
- :视频帧已经迟到,需要根据迟到程度及后续帧情况决定是否丢弃。
假设音频主时钟是 10.000 秒,视频为 25 FPS,相邻展示帧的时间间隔约为 40 毫秒。可以先使用以下演示策略:
| 视频帧 PTS | 时间偏差 | 演示决策 |
|---|---|---|
| 10.040 秒 | +40 ms | 等待约 40 ms 后展示 |
| 10.005 秒 | +5 ms | 接近同步,立即展示 |
| 9.990 秒 | -10 ms | 轻微迟到,仍可展示 |
| 9.920 秒 | -80 ms | 明显迟到,优先考虑丢弃 |
这些是教学用阈值,不是所有播放器通用的固定标准。真实播放器还要参考显示刷新时刻、帧持续时间、解码队列、下一帧 PTS 和同步阈值,避免连续丢帧造成画面跳跃。

用可运行代码模拟视频帧调度
下面的 Python 3 示例假设音频时钟是主时钟,视频解码帧已经按照展示时间排序。它用单调时钟模拟音频播放进度,展示最简单的等待、显示和迟到丢帧决策。
import time
FRAME_PTS = [0.000, 0.040, 0.080, 0.120, 0.160]
DROP_THRESHOLD = 0.060 # 迟到超过 60 ms 时丢弃
START_DELAY = 0.050 # 模拟开始调度前已播放 50 ms
start = time.monotonic() - START_DELAY
for pts in FRAME_PTS:
# 单调时钟模拟音频播放进度;真实播放器应读取音频设备位置
audio_clock = time.monotonic() - start
diff = pts - audio_clock
if diff < -DROP_THRESHOLD:
print(f"DROP pts={pts:.3f}")
continue
if diff > 0:
time.sleep(diff)
# 到达目标展示时刻后提交画面
print(f"DISPLAY pts={pts:.3f}")预期输出(正常运行时的一种典型结果):
DISPLAY pts=0.000
DISPLAY pts=0.040
DISPLAY pts=0.080
DISPLAY pts=0.120
DISPLAY pts=0.160第一次检查时,0.000 秒帧虽然已经迟到约 50 毫秒,但未超过丢帧阈值,因此依然展示。后续帧会等待音频进度追上各自的 PTS。由于操作系统调度可能存在延迟,实际运行顺序通常相同,但调度开销较大时可能出现不同结果。
可以把 START_DELAY 改为 0.100,模拟播放器开始处理时音频已经走到 100 毫秒附近。此时前两帧通常因明显迟到而被丢弃,0.080 秒帧会尝试展示,后续帧继续按照时间戳等待。
该示例是调度原理实验,不是真实解码播放器。它没有音频输出设备、解码线程、显示刷新同步和队列阻塞,也没有精确统计时钟漂移。真实实现应使用音频设备提供的播放位置估算主时钟,并在显示前再次检查偏差。
持续播放时怎样修正音画偏差
只在启动时对齐一次不够。音频硬件时钟和系统时钟可能略有不同,网络数据也可能间歇到达。播放器应该持续测量时间偏差,并根据偏差大小选择动作。
一个适用于原型播放器的分级策略如下:
| 偏差范围 | 视频调度动作 | 说明 |
|---|---|---|
| 视频领先 10~80 ms | 延迟提交视频帧 | 不暂停音频设备 |
| 误差绝对值不超过 10 ms | 正常显示 | 避免过度修正造成抖动 |
| 视频落后 10~60 ms | 缩短下一帧等待时间 | 优先保持画面连续 |
| 视频落后超过 60 ms | 评估丢弃过期视频帧 | 优先追上音频时间线 |
例如,视频帧 PTS 为 15.240 秒,音频主时钟为 15.300 秒,视频落后 60 毫秒。若后面还有 PTS 为 15.280 和 15.320 秒的帧,继续逐帧完整等待会扩大延迟。播放器可以跳过已经错过展示期限的帧,尽快提交接近 15.300 秒的候选帧。

实际播放器不宜只依赖固定毫秒阈值。例如 24 FPS 的单帧间隔约 41.7 毫秒,60 FPS 则约 16.7 毫秒,同样迟到 30 毫秒,对画面连续性的影响不同。可参考帧持续时间设置动态容差,并对连续丢帧次数设置保护,避免因为一次短暂卡顿就长时间黑屏或跳画面。
音频自身落后外部时钟时,不应通过随机丢弃音频采样修复。可在允许的范围内通过音频重采样或时间伸缩做小幅速度调整;如果延迟严重,通常需要重新建立播放基准或执行受控跳转。
暂停、倍速和缓冲时如何保持正确时间
正常播放时主时钟持续前进,但暂停、变速、拖动进度条和重新缓冲会改变它的行为。若仅使用系统单调时间减去启动时间,暂停 5 秒后视频会被错误地判定为落后 5 秒。
可以使用以下时钟模型表示播放进度:
其中, 是锚点媒体时间, 是锚点对应的单调时间, 是播放速度。该公式仅用于时钟正常运行的区间,暂停期间时钟必须冻结。
假设播放器在单调时间 100 秒时,媒体时间为 20 秒,播放速度为 1.5 倍,那么单调时间到达 102 秒时,媒体进度应为 23 秒。
不同操作对应的处理方式如下:
- 暂停:冻结媒体时钟,停止推进音频输出与视频展示调度;恢复时重新建立时间锚点。
- 倍速:更新时间锚点和速度参数,音频处理与视频调度使用相同媒体时间基准。
- Seek:跳转后刷新音视频队列,按新的时间戳建立时钟基准,丢弃属于旧播放位置的帧。
- 缓冲:区分暂停播放等待数据与继续实时追赶两种策略,不能在两者之间无条件沿用同一时钟推进规则。
- 无音频流:切换到视频时钟或外部时钟;音轨暂时没有数据时则依据播放器的缓冲策略决定等待还是切换。
验收时可以使用带清晰打板画面和短促提示音的测试视频,分别测试正常播放、暂停 5 秒后恢复、1.5 倍速播放,以及向前 Seek 10 秒。检查画面事件是否持续靠近声音事件,是否出现持续增大的偏差,并记录实际音频时钟、视频 PTS、等待时间与丢帧次数。
工程上应优先保证所有时间戳已经转换到统一时间基准,再做同步决策。时间基准错误、使用解码时间戳 DTS 代替展示时间戳 PTS,或直接把音频写入缓冲的进度当作已播放进度,都可能让调度策略看似正确却持续音画不同步。