编码与格式 / 系统课时

选择主时钟并同步音视频帧

选择主时钟并同步音视频帧

播放器同时解码音频和视频时,两条处理链的速度并不相同。如果视频帧一解码完成就立即显示,声音与画面很容易错位。本篇通过主时钟选择、时间戳比较、视频帧等待和丢帧策略,搭建一套可以实际验证的音画同步规则。

学习目标

  • 区分音频时钟、视频时钟和外部时钟,能根据播放场景选择主时钟。
  • 根据帧时间戳计算音画偏差,决定显示、等待还是丢弃视频帧。
  • 理解播放器如何处理时钟漂移、暂停、倍速和缓冲后的同步问题。

三种时钟应该如何选择

播放器中的时钟表示媒体时间线当前走到了哪里,通常用秒表示。它不是操作系统的墙上时间,而是供音频和视频共同参考的播放进度。

时钟 时间来源 适用场景 主要限制
音频时钟 已播放的音频采样进度,结合设备缓冲估算 普通视频、电影、音乐视频 必须考虑音频设备中尚未播放的缓冲
视频时钟 视频帧的展示时间戳及其显示进度 无音轨视频、特定视频主导场景 不能直接反映扬声器实际播放位置
外部时钟 系统单调时钟或经过同步的外部时间基准 实时直播、多个播放终端同步 需要处理网络抖动与音频设备时钟偏差

对于带声音的本地文件,通常优先选择音频时钟。音频设备按采样速率持续消耗数据,播放器难以随意暂停或跳过正在播放的声音,因此让视频追随音频更自然。

例如,48 kHz 的音频已经实际播放 96,000 个采样帧,播放进度就是 2.000 秒。这里的采样帧是同一采样时刻所有声道的一组样本,立体声不能因为有两个声道就把播放时长翻倍。

音频写入设备缓冲并不意味着已经播放。假设已经提交 2.200 秒音频,设备内还有约 0.180 秒待播放,估算音频时钟应为 2.020 秒,而不是 2.200 秒。实际实现还需要考虑设备报告的播放位置、输出延迟与时间戳基准。

当没有可用音轨时,可以使用视频时钟或外部时钟。直播如果要求贴近实时进度,可以选择外部时钟,但不能仅凭选择外部时钟就保证低延迟,还需要配合缓冲控制和必要的速度微调。

视频帧为什么需要等待和丢弃

解码器输出帧的时间不等于画面应当显示的时间。播放器通常依据视频帧的 PTS(Presentation Timestamp,展示时间戳),将它转换到与主时钟一致的媒体时间基准,再决定何时展示。

设视频帧的目标展示时间为 TvT_v,当前主时钟为 TmT_m,两者差值为:

Δ=Tv−Tm\Delta=T_v-T_m
  • Δ>0\Delta>0:视频帧对应的时间还未到达,通常需要等待。
  • Δ≈0\Delta\approx0:视频帧接近目标时间,可以展示。
  • Δ<0\Delta<0:视频帧已经迟到,需要根据迟到程度及后续帧情况决定是否丢弃。

假设音频主时钟是 10.000 秒,视频为 25 FPS,相邻展示帧的时间间隔约为 40 毫秒。可以先使用以下演示策略:

视频帧 PTS 时间偏差 演示决策
10.040 秒 +40 ms 等待约 40 ms 后展示
10.005 秒 +5 ms 接近同步,立即展示
9.990 秒 -10 ms 轻微迟到,仍可展示
9.920 秒 -80 ms 明显迟到,优先考虑丢弃

这些是教学用阈值,不是所有播放器通用的固定标准。真实播放器还要参考显示刷新时刻、帧持续时间、解码队列、下一帧 PTS 和同步阈值,避免连续丢帧造成画面跳跃。

音频主时钟驱动视频帧等待与丢弃的时间线示意图

用可运行代码模拟视频帧调度

下面的 Python 3 示例假设音频时钟是主时钟,视频解码帧已经按照展示时间排序。它用单调时钟模拟音频播放进度,展示最简单的等待、显示和迟到丢帧决策。

python
import time

FRAME_PTS = [0.000, 0.040, 0.080, 0.120, 0.160]
DROP_THRESHOLD = 0.060  # 迟到超过 60 ms 时丢弃
START_DELAY = 0.050     # 模拟开始调度前已播放 50 ms

start = time.monotonic() - START_DELAY

for pts in FRAME_PTS:
    # 单调时钟模拟音频播放进度;真实播放器应读取音频设备位置
    audio_clock = time.monotonic() - start
    diff = pts - audio_clock

    if diff < -DROP_THRESHOLD:
        print(f"DROP    pts={pts:.3f}")
        continue

    if diff > 0:
        time.sleep(diff)

    # 到达目标展示时刻后提交画面
    print(f"DISPLAY pts={pts:.3f}")

预期输出(正常运行时的一种典型结果):

text
DISPLAY pts=0.000
DISPLAY pts=0.040
DISPLAY pts=0.080
DISPLAY pts=0.120
DISPLAY pts=0.160

第一次检查时,0.000 秒帧虽然已经迟到约 50 毫秒,但未超过丢帧阈值,因此依然展示。后续帧会等待音频进度追上各自的 PTS。由于操作系统调度可能存在延迟,实际运行顺序通常相同,但调度开销较大时可能出现不同结果。

可以把 START_DELAY 改为 0.100,模拟播放器开始处理时音频已经走到 100 毫秒附近。此时前两帧通常因明显迟到而被丢弃,0.080 秒帧会尝试展示,后续帧继续按照时间戳等待。

该示例是调度原理实验,不是真实解码播放器。它没有音频输出设备、解码线程、显示刷新同步和队列阻塞,也没有精确统计时钟漂移。真实实现应使用音频设备提供的播放位置估算主时钟,并在显示前再次检查偏差。

持续播放时怎样修正音画偏差

只在启动时对齐一次不够。音频硬件时钟和系统时钟可能略有不同,网络数据也可能间歇到达。播放器应该持续测量时间偏差,并根据偏差大小选择动作。

一个适用于原型播放器的分级策略如下:

偏差范围 视频调度动作 说明
视频领先 10~80 ms 延迟提交视频帧 不暂停音频设备
误差绝对值不超过 10 ms 正常显示 避免过度修正造成抖动
视频落后 10~60 ms 缩短下一帧等待时间 优先保持画面连续
视频落后超过 60 ms 评估丢弃过期视频帧 优先追上音频时间线

例如,视频帧 PTS 为 15.240 秒,音频主时钟为 15.300 秒,视频落后 60 毫秒。若后面还有 PTS 为 15.280 和 15.320 秒的帧,继续逐帧完整等待会扩大延迟。播放器可以跳过已经错过展示期限的帧,尽快提交接近 15.300 秒的候选帧。

播放器按音画偏差选择等待、展示与丢帧的流程图

实际播放器不宜只依赖固定毫秒阈值。例如 24 FPS 的单帧间隔约 41.7 毫秒,60 FPS 则约 16.7 毫秒,同样迟到 30 毫秒,对画面连续性的影响不同。可参考帧持续时间设置动态容差,并对连续丢帧次数设置保护,避免因为一次短暂卡顿就长时间黑屏或跳画面。

音频自身落后外部时钟时,不应通过随机丢弃音频采样修复。可在允许的范围内通过音频重采样或时间伸缩做小幅速度调整;如果延迟严重,通常需要重新建立播放基准或执行受控跳转。

暂停、倍速和缓冲时如何保持正确时间

正常播放时主时钟持续前进,但暂停、变速、拖动进度条和重新缓冲会改变它的行为。若仅使用系统单调时间减去启动时间,暂停 5 秒后视频会被错误地判定为落后 5 秒。

可以使用以下时钟模型表示播放进度:

T(t)=T0+(t−t0)×rT(t)=T_0+(t-t_0)\times r

其中,T0T_0 是锚点媒体时间,t0t_0 是锚点对应的单调时间,rr 是播放速度。该公式仅用于时钟正常运行的区间,暂停期间时钟必须冻结。

假设播放器在单调时间 100 秒时,媒体时间为 20 秒,播放速度为 1.5 倍,那么单调时间到达 102 秒时,媒体进度应为 23 秒。

不同操作对应的处理方式如下:

  • 暂停:冻结媒体时钟,停止推进音频输出与视频展示调度;恢复时重新建立时间锚点。
  • 倍速:更新时间锚点和速度参数,音频处理与视频调度使用相同媒体时间基准。
  • Seek:跳转后刷新音视频队列,按新的时间戳建立时钟基准,丢弃属于旧播放位置的帧。
  • 缓冲:区分暂停播放等待数据与继续实时追赶两种策略,不能在两者之间无条件沿用同一时钟推进规则。
  • 无音频流:切换到视频时钟或外部时钟;音轨暂时没有数据时则依据播放器的缓冲策略决定等待还是切换。

验收时可以使用带清晰打板画面和短促提示音的测试视频,分别测试正常播放、暂停 5 秒后恢复、1.5 倍速播放,以及向前 Seek 10 秒。检查画面事件是否持续靠近声音事件,是否出现持续增大的偏差,并记录实际音频时钟、视频 PTS、等待时间与丢帧次数。

工程上应优先保证所有时间戳已经转换到统一时间基准,再做同步决策。时间基准错误、使用解码时间戳 DTS 代替展示时间戳 PTS,或直接把音频写入缓冲的进度当作已播放进度,都可能让调度策略看似正确却持续音画不同步。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择主时钟并同步音视频帧

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通