编码与格式 / 系统课时

播放速度变化时如何调整时钟

播放速度变化时如何调整时钟

播放器从正常速度切换到 1.5 倍速或 0.75 倍速时,不能只修改视频帧间隔,还必须协调播放时钟、音频输出和音画同步。本篇通过时间换算、帧调度算例和音频处理方案,说明如何实现倍速播放,并避免声音变调、画面卡顿和音画漂移。

学习目标

  • 掌握播放速度与媒体时间、真实时间之间的换算关系。
  • 能够计算倍速播放的视频帧显示时刻,并正确处理暂停和速度切换。
  • 区分改变音频采样播放速度与时间伸缩,理解音画同步的实现条件。

倍速播放改变的是媒体时间的推进速度

播放器通常同时处理两种时间:媒体时间表示音视频内容中的位置,真实时间表示设备单调时钟经过的时间。播放速度决定两者的换算比例。

设当前速度为 rr,在真实时间经过 Δt\Delta t 秒后,媒体时间的增量为:

ΔP=r×Δt\Delta P=r\times\Delta t

其中 PP 表示媒体播放位置。例如正常播放时 r=1r=1,真实时间经过 2 秒,媒体时间也前进 2 秒;使用 1.5 倍速时,媒体时间前进 3 秒。

为了支持暂停、恢复和动态变速,可以保存三个状态:

  • anchorMedia:最近一次时钟校准时的媒体时间,单位为秒。
  • anchorWall:该次校准对应的单调时钟时间,单位为秒。
  • rate:当前播放速度,暂停时将时钟推进速度设为 0。

媒体播放时钟的计算公式为:

P(t)=P0+(t−t0)×rP(t)=P_0+(t-t_0)\times r

这里的 P0P_0 和 t0t_0 分别对应两个锚点。播放器应使用单调时钟计算时间差,不能直接依赖可能被系统校时修改的墙上时间。

以当前媒体位置 12 秒为例:

播放速度 真实时间经过 4 秒 新媒体位置
0.5 倍 4 秒 14 秒
1.0 倍 4 秒 16 秒
1.5 倍 4 秒 18 秒
2.0 倍 4 秒 20 秒

注意,倍速播放通常不改变压缩音视频帧携带的原始 PTS(显示时间戳),而是改变 PTS 与真实显示时刻之间的映射关系。直接修改所有原始 PTS 容易破坏后续同步、定位和时间轴计算。

速度切换时重新建立时钟锚点

假设播放器从媒体时间 10 秒开始以正常速度播放,真实时间经过 3 秒后切换到 2 倍速。

切换瞬间的媒体位置应该是 13 秒。此时重新记录媒体锚点 13 秒和当前单调时钟时间,再使用新速度推进。经过另外 2 秒后,媒体位置应当是 17 秒。

错误实现是直接把原始锚点的速度从 1 改成 2。这样会把切换前已经经过的 3 秒也按 2 倍计算,导致播放位置瞬间跳到 16 秒。

下面使用 Python 3 标准库演示一个独立的播放时钟模型。时间由调用方传入,便于测试,不依赖运行机器的实际时刻。

python
class PlaybackClock:
    def __init__(self, media_time=0.0, wall_time=0.0, rate=1.0):
        self.anchor_media = media_time
        self.anchor_wall = wall_time
        self.rate = rate

    def position(self, now):
        # 只使用当前锚点之后经过的真实时间
        return self.anchor_media + (now - self.anchor_wall) * self.rate

    def set_rate(self, new_rate, now):
        if new_rate < 0:
            raise ValueError("rate must be non-negative")
        # 先结算旧速度对应的媒体位置,避免变速时跳跃
        self.anchor_media = self.position(now)
        self.anchor_wall = now
        self.rate = new_rate


clock = PlaybackClock(media_time=10.0, wall_time=0.0)
print(f"切换前: {clock.position(3.0):.1f}s")
clock.set_rate(2.0, 3.0)
print(f"切换瞬间: {clock.position(3.0):.1f}s")
print(f"切换后: {clock.position(5.0):.1f}s")
clock.set_rate(0.0, 5.0)
print(f"暂停后: {clock.position(8.0):.1f}s")

预期输出:

text
切换前: 13.0s
切换瞬间: 13.0s
切换后: 17.0s
暂停后: 17.0s

这个模型用于解释时钟数学关系。真实播放器还需要处理 seek、缓冲、播放结束及音频硬件时钟反馈。当音频是主时钟时,不能仅靠上述软件公式长期推算实际听到的媒体位置。

视频帧如何按照新速度调度

视频解码器一般按照编码顺序或解码依赖处理压缩数据,而渲染器根据每帧的 PTS 决定显示时刻。倍速改变的是渲染调度,不意味着解码器必须按倍数修改帧率配置。

假设视频为恒定 25 fps,相邻视频帧的媒体时间间隔为 40 毫秒。忽略处理开销,真实显示间隔可计算为:

Tdisplay=40r msT_{display}=\frac{40}{r}\ \text{ms}
速度 目标帧间隔 理论每秒显示帧数
0.5 倍 80 ms 12.5
1.0 倍 40 ms 25
1.5 倍 26.67 ms 37.5
2.0 倍 20 ms 50

这里的每秒显示帧数是按真实时间统计的理论输出频率,不是视频文件本身的编码帧率。对于可变帧率视频,应逐帧使用实际 PTS 差值,而不能固定使用 40 毫秒。

调度一帧时,先计算它距离主时钟的媒体时间差,再换算为真实等待时间。假设视频帧 PTS 为 8.120 秒,主时钟位置为 8.080 秒,速度为 2 倍,那么理论等待时间为 20 毫秒。

实际调度还必须考虑显示设备的刷新节奏。60 Hz 显示器约每 16.67 毫秒出现一次刷新机会,20 毫秒的目标间隔无法保证每帧都精确显示 20 毫秒。渲染器通常需要结合预计呈现时刻、垂直同步和帧队列做调度。

倍速变化下的视频帧媒体时间与真实显示时间对照图

如果视频解码或渲染跟不上 2 倍速所需的处理量,应优先保证播放时间连续,按策略丢弃已经明显过期的非关键显示帧,而不是无限累积延迟。丢帧时仍要遵守解码依赖,不能随意跳过后续帧依赖的参考帧。

音频提速有两种不同结果

音频速度变化需要区分直接改变采样播放速度与保持音高的时间伸缩。两者听感不同,不能混为一谈。

假设原始音频为 48 kHz,持续 10 秒,共包含 480000 个每声道采样点。

方法一:改变采样输出速度。 如果把这 480000 个采样点按每秒 96000 点的速度输出,播放时间缩短为 5 秒,音高也会升高一个八度。若硬件保持 48 kHz,也可以通过重采样使样本数量减少,再以 48 kHz 输出,得到相应的变速变调效果。

方法二:音频时间伸缩。 使用 WSOLA、相位声码器或其他时间伸缩算法,在尽量保持原有音高的情况下改变音频持续时间。例如将 10 秒语音压缩为约 6.67 秒,再以标准 48 kHz 输出,实现 1.5 倍速而不让说话声音整体变尖。

对比项 改变采样播放速度 保持音高的时间伸缩
1.5 倍速持续时间 原来的约 2/3 原来的约 2/3
音高 升高 尽量保持不变
主要代价 实现相对简单,需处理输出采样率 需要额外算法与缓冲
常见用途 特效、磁带变速效果 课程、播客、视频倍速

改变播放器的 rate 变量不会自动让设备支持任意输出采样率。实际音频设备常保持固定采样率,通过软件重采样或时间伸缩生成适合音频输出设备的 PCM 数据。

以音频主时钟维持音画同步

有音轨的视频播放通常优先以实际音频播放进度作为主时钟,因为用户对声音断裂非常敏感,而且音频硬件具有自己的消费节奏。

一个实用的播放链路包含以下步骤:

  1. 解复用音视频数据,保留各自媒体 PTS。
  2. 音频解码后按目标速度执行时间伸缩或重采样,并送入音频输出队列。
  3. 根据音频设备报告的已播放帧位置或硬件时间戳,结合缓冲延迟与速度映射,估计当前真正播放到的媒体时间。
  4. 视频渲染器比较待显示帧的 PTS 与音频主时钟,决定等待、显示或丢弃过期帧。
  5. 变速、暂停、seek 或音频设备重建时更新对应时间锚点并重新校准同步关系。

音频主时钟驱动倍速视频渲染的数据流与同步关系图

一个常见错误是直接把提交给音频设备的采样数当成已经播放的采样数。例如以 48 kHz 输出时,音频队列内尚有 4800 帧未播放 PCM,就代表大约 100 毫秒的设备前缓冲。此时如果不扣除输出延迟,软件计算的位置就可能比真实听到的位置提前约 100 毫秒。

时间伸缩还会让输入媒体样本数与输出 PCM 帧数不再保持一比一关系。因此要通过音频处理器维护的媒体时间映射,将设备播放进度转换回原始媒体时间;不能简单用已播放输出帧数除以原始采样率后当作媒体时钟。

验证倍速切换是否正确

可以准备一段 20 秒的测试视频,画面每秒显示递增秒数,同时在整数秒位置播放短提示音。测试时分别选择 0.5、1.0、1.5 和 2.0 倍速,观察媒体位置、声音音高及画面同步。

推荐检查以下项目:

  • 持续时间:20 秒内容在无缓冲干扰下,以 2 倍速播放应约耗时 10 秒,以 0.5 倍速播放应约耗时 40 秒。
  • 切换连续性:从 1 倍速改为 1.5 倍速时,媒体位置不能突然前跳或后退。
  • 音高:启用保音高时间伸缩后,1.5 倍速语音应基本保持原有音高。
  • 暂停恢复:暂停 3 秒后恢复,媒体位置不应把暂停的真实时间计入播放进度。
  • 音画同步:在速度切换前后观察画面秒数变化与提示音是否仍对应,并记录同步误差。

例如某视频帧的 PTS 为 12.040 秒,估计音频主时钟为 12.100 秒,则视频比音频落后 60 毫秒。该误差应以媒体时间计算,再结合倍速和实际显示时刻确定调度动作,不能无条件将 60 毫秒直接当作真实等待时间。

最终验收标准是:变速时媒体时钟连续,视频按媒体 PTS 调度,音频按选定策略变速且时钟反映实际播放进度。三者一致时,播放器才能在倍速切换后仍维持自然的播放体验。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

播放速度变化时如何调整时钟

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通