编码与格式 / 系统课时
音视频同步
音视频同步
本课解决播放器中声音与画面逐渐错位的问题。完成后,你将能选择合适的主时钟,计算音视频差值,并据此决定视频帧应立即显示、延迟显示还是丢弃。
学习目标
- 理解音频时钟、视频时钟和外部时钟的职责
- 掌握基于时钟差值的视频帧调度方法
- 能处理暂停、时钟漂移和异常时间戳
选择播放器的主时钟
同步的本质不是让音频和视频“同时解码”,而是让它们在同一时间基准下呈现。播放器通常维护三类时钟:音频时钟表示已播放到扬声器的采样位置,视频时钟表示最近显示帧的时间戳,外部时钟表示系统单调时间或直播基准时间。
本地文件播放通常以音频时钟为主,因为音频设备按固定采样率连续消费数据,频繁拉伸或暂停音频容易产生爆音。无音轨视频可改用视频时钟;直播或多路同步场景可使用外部时钟,但要允许音视频通过丢帧、补偿或变速逐步追赶。

计算同步误差
每个时钟都可以表示为“基准 PTS + 从基准时刻起经过的单调时间”。读取时钟时必须使用单调时钟,避免系统时间被校准后发生跳变。视频与主时钟的误差可写为 :正值表示视频超前,负值表示视频落后。
下面是可独立编译的 C++17 示例。它根据误差返回显示、等待或丢帧决策,并为异常 PTS 设置保护,避免错误时间戳触发连续丢帧。
#include <cmath>
#include <iostream>
#include <string>
enum class Action { Show, Delay, Drop };
Action decide(double videoClock, double masterClock) {
const double diff = videoClock - masterClock;
const double syncThreshold = 0.040; // 40 ms 内视为同步
const double dropThreshold = -0.100;
if (!std::isfinite(diff) || std::abs(diff) > 10.0) {
return Action::Show; // 异常时间戳不参与同步修正
}
if (diff < dropThreshold) {
return Action::Drop;
}
if (diff > syncThreshold) {
return Action::Delay;
}
return Action::Show;
}
std::string name(Action action) {
if (action == Action::Delay) return "DELAY";
if (action == Action::Drop) return "DROP";
return "SHOW";
}
int main() {
std::cout << name(decide(10.080, 10.000)) << std::endl;
std::cout << name(decide(9.850, 10.000)) << std::endl;
std::cout << name(decide(10.020, 10.000)) << std::endl;
}预期输出:
DELAY
DROP
SHOW阈值不能固定照搬。25 fps 视频一帧约 40 ms,60 fps 视频一帧约 16.7 ms,实际播放器可根据上一帧持续时间动态设置同步阈值,并为最小值和最大值设置边界。
调度视频帧
视频刷新线程先取出队首帧,将帧 PTS 转换为秒,再读取主时钟。视频超前时,应等待不超过一帧持续时间后重新判断;轻微落后时直接显示;明显落后且队列中还有后续帧时丢弃当前帧,直到追上主时钟。
不要通过让解码线程直接休眠来同步。解码线程负责持续填充帧队列,显示线程负责按时钟消费;二者分离后,慢解码、渲染阻塞和同步等待不会互相放大。音频为主时钟时,时钟应基于真正送入设备并扣除尚未播放缓冲量的位置,而不是“已解码到哪里”。
处理边界情况
暂停时应冻结所有时钟。恢复播放时重新记录单调时间基准,不能把暂停持续时间计入已播放时长。执行跳转后,旧队列中的帧和旧时钟基准都必须失效,并以跳转后第一批有效帧重新建立时钟。
遇到缺失 PTS、非单调 PTS 或时间基错误时,先检查 av_q2d(stream->time_base) 的换算,再决定是否回退到 DTS 或估算帧时长。异常差值应暂时停止同步修正,而不是连续丢帧。
验证同步效果
准备一段带打板声或口型明显的视频,记录每次显示帧时的 videoClock、masterClock、diff 和决策。正常情况下,差值应长期围绕零小幅波动;若持续同方向增长,通常是时钟计算错误;若周期性突变,则应检查缓冲长度、时间基转换和暂停恢复逻辑。