流媒体与实时通信 / 系统课时
可变帧率如何处理采集时间戳
可变帧率如何处理采集时间戳
可变帧率(VFR)采集时,帧到达间隔本来就可能不同,不能把“第几帧”直接当成播放时间。掌握采集时间、PTS、DTS 和时间基之间的关系,才能避免直播中出现抖动、音画不同步或下游丢帧。
学习目标
- 能根据真实采集时间计算相邻视频帧的时间间隔,并区分 CFR 与 VFR。
- 能正确读取并换算 PTS、DTS 与
time_base,判断时间戳是否单调。 - 能在采集、编码和封装链路中定位时间戳漂移、重复和回退问题。
先看帧间隔为什么会变化
固定帧率(CFR)要求相邻帧之间保持固定时间间隔。例如 30 fps 的理想帧间隔约为 33.333 ms;如果采集端实际给出的时间依次是 0 ms、33 ms、67 ms、100 ms,属于接近固定节奏的采样。VFR 则可能是 0 ms、33 ms、83 ms、100 ms,相邻间隔变成 33 ms、50 ms、17 ms。
这里的时间首先属于采集时间,它描述摄像头或采集设备在什么时刻产生这一帧。直播链路中不要用帧序号乘一个固定间隔去替代它,否则一旦摄像头、桌面采集或系统调度造成真实间隔变化,后续时间轴就会被人为拉直。
例如一组采集时间为 0、33、83、100 ms 的帧,真实间隔是 33、50、17 ms。若强行按 30 fps 改写为 0、33.3、66.7、100 ms,第 3 帧就被提前约 16.3 ms;连续发生后,播放器看到的节奏会与采集现场不一致。

判断 VFR 时,不要看“平均帧率”就直接下结论。实际应读取连续帧的时间戳,计算 。只要 在业务允许范围内明显变化,就应保留原始时间关系,而不是先四舍五入成固定间隔。
区分PTS、DTS与采集时间
采集时间描述“帧什么时候产生”,PTS 描述“这一帧应该在什么时候呈现”,DTS 描述“这一帧什么时候交给解码器处理”。三者可能相同,也可能不同。
对没有 B 帧重排序的简单编码链路,PTS 与 DTS 常常一致或非常接近;启用有帧重排序的编码器后,DTS 可以早于 PTS。不要把 DTS 当成播放器显示时间,播放器最终应依据 PTS 或封装层规定的展示时间轴进行呈现。
一个实际排查场景是:采集层记录第 10 帧在 320 ms 产生,但送进编码器后,编码输出显示 pts=320、dts=253。这并不自动表示编码器“把帧时间改错了”,它可能只是因为编码器引入了重排序。真正需要检查的是:PTS 是否仍保持正确展示顺序,DTS 是否满足解码依赖关系,以及封装后时间轴是否连续。
| 时间概念 | 表示什么 | 排查时重点 |
|---|---|---|
| 采集时间 | 摄像头或采集设备产生帧的时刻 | 是否稳定、是否跳变 |
| PTS | 画面应呈现的时间 | 播放顺序与音画同步 |
| DTS | 解码器应处理的时间 | 解码依赖与重排序 |
| time_base | 时间戳整数的时间单位 | 换算是否正确 |
用time_base正确换算时间戳
FFmpeg 常见视频时间基可以写成 1/90000。如果某帧 PTS 为 3003,那么真实展示时间是 秒,也就是约 33.37 ms。不能看到 3003 就把它当成毫秒。
对于任意时间基 num/den,时间换算为秒可写成 。在工程中,统一换算后再比较不同模块的时间轴,避免一个模块使用毫秒、另一个模块直接传递 90 kHz tick。
可以直接用 FFmpeg 的 ffprobe 查看输入视频帧时间戳。<PATH> 请替换成实际媒体路径。
ffprobe -v error -select_streams v:0 -show_frames -show_entries frame=best_effort_timestamp,best_effort_timestamp_time,pkt_dts,pkt_dts_time -of csv=p=0 "<PATH>"预期结果(字段值随实际媒体而变;重点检查时间是否按展示顺序递增,以及 PTS 与 DTS 是否存在合理重排序):
0,0.000000,0,0.000000
3003,0.033367,3003,0.033367
6006,0.066733,6006,0.066733
9009,0.100100,9009,0.100100若文件采用 B 帧重排序,后续 pkt_dts_time 可能早于对应的 best_effort_timestamp_time;这属于正常现象,不能因为 DTS 小于 PTS 就判定文件损坏。
在采集到编码之间保持时间轴
直播采集器应尽量把原始采集时间转换成统一时间基后再送编码器。例如采集系统给出纳秒时间戳 2,150,000,000 ns,目标视频时间基为 1/90000,对应 PTS 约为 。实际实现还要处理起始时间归零、整数舍入以及时钟漂移。
推荐按下面的顺序处理:
- 记录采集帧原始时间戳,不使用“当前帧序号 × 固定间隔”替代。
- 选定整条视频链路统一使用的
time_base,例如1/90000。 - 将采集时间换算成整数 PTS,并明确规定四舍五入策略。
- 将 PTS 传给编码器;若编码器产生独立 DTS,则保留编码器给出的解码时间关系。
- 在封装前再次检查 PTS 是否按展示时间轴递增,必要时检查 DTS 是否满足解码顺序。
对于实时链路,最危险的错误是重新生成一套“看起来均匀”的 PTS。例如输入已经是 25 fps 的 VFR 画面,却按 40 ms 固定递增重新编号。这样虽然输出帧数没有变化,但真实采集节奏已经被破坏,长时间运行还可能积累与音频时钟的偏差。
处理非单调时间戳
非单调不一定都是同一种问题。先区分三类:重复、回退和大跳变。例如 PTS 为 100、100、140,第一处是重复;100、90、140 是回退;100、140、1200 则是大跳变。对应原因可能分别是重复帧、时钟回拨、设备阻塞或恢复后的时间源变化。
排查时先记录连续 20~100 帧的 PTS、DTS、采集时间和帧序号,计算每一对相邻帧的差值。若采集时间正常而 PTS 回退,重点查时间基转换或封装代码;若采集时间本身回退,则应先查采集时钟,而不是在播放器侧“修时间”。
最终验收至少检查三件事:连续帧的 PTS 没有无理由回退;PTS 换算后的帧间隔与采集观察到的节奏一致;封装后的播放时间轴没有因为重新编号而产生额外的漂移。只有这三项同时成立,VFR 时间戳才算真正处理正确。