流媒体与实时通信 / 系统课时

用画面时间戳测量直播延迟

用画面时间戳测量直播延迟

本篇用视频画面内的时间戳把“感觉有点慢”变成可记录的数字:先让推流画面持续显示产生时间,再在播放端读取同一帧的时间,最后同时记录首帧、卡顿和码率,得到一次可复现的延迟基线。

学习目标

  • 能在 FFmpeg 推流画面中叠加可读时间戳,并保持帧时间连续。
  • 能区分时钟不同步、首帧等待和播放缓冲造成的延迟。
  • 能记录首帧时间、端到端延迟、卡顿次数和码率,形成实验基线。

先定义测量口径

直播延迟不要把“点下播放按钮到出画面”的时间和“画面产生到屏幕呈现”的时间混在一起。前者是首帧启动时间,后者才是端到端播放延迟;两项都应记录。

推荐把画面时间戳理解为发送端的时间锚点。最可靠的实验条件是推流机、播放机使用同步时钟,例如通过 NTP 校时;然后在推流画面中显示当前本机时间。若两台机器无法稳定校时,也可以改用同一视频流内的 PTS 时间戳做相对测量,此时不需要比较两台机器的系统时钟。

直播延迟测量中的时间戳对齐关系

给推流画面加时间戳

为了先把实验跑起来,可以直接用 FFmpeg 生成测试画面,并把基于 PTS 的时间戳叠加到视频中。下面命令适合 FFmpeg 6.x/7.x 的常见 Linux/macOS 环境;<PORT> 替换为你的 RTSP 服务端监听端口,实际值可能不同。

bash
ffmpeg -re -f lavfi -i "testsrc2=size=1280x720:rate=30" -vf "drawtext=text='%{pts\\:hms}':x=24:y=24:fontsize=36:box=1:boxborderw=8" -c:v libx264 -preset veryfast -tune zerolatency -pix_fmt yuv420p -an -f rtsp rtsp://127.0.0.1:<PORT>/lab

预期输出

text
ffmpeg version 7.x
Input #0, lavfi, from 'testsrc2=size=1280x720:rate=30':
  Stream #0:0: Video: rawvideo, 1280x720, 30 fps
Stream mapping:
  Stream #0:0 -> #0:0
Output #0, rtsp, to 'rtsp://127.0.0.1:<PORT>/lab':
  Stream #0:0: Video: h264, yuv420p, 1280x720, 30 fps
frame=   90 fps=30 q=... size=...

画面左上角会持续出现类似 00:00:12.300 的 PTS 时间。这个时间不是系统绝对时间,但同一帧在发送端和播放端保持一致,因此非常适合先验证“链路本身增加了多少延迟”。

计算端到端延迟

播放端打开刚才的 RTSP 地址后,找到一个清晰可读的时间戳,例如推流端当前已经产生 00:00:12.300,播放器屏幕显示的同一路画面时间戳却是 00:00:10.900。两者相差 1.400 s,就可以把这一次观察记为约 1.4 秒端到端延迟。

实际测试不要只读一帧。连续观察 10~20 次,每次间隔 2~3 秒,记录平均值和最大值。例如得到 1.2 / 1.3 / 1.3 / 1.4 / 1.3 s,可记录平均约 1.3 s、峰值 1.4 s。若偶发跳到 3.8 s,不要用平均值掩盖它,应单独记为异常样本。

对于需要和系统事件关联的实验,再使用两台机器同步后的 Unix 时间或本地时间戳。此时计算关系是:

Le2e=Tdisplay−TcaptureL_{e2e}=T_{display}-T_{capture}

两台机器时钟偏差为 Δclock\Delta_{clock} 时,测量误差至少会包含这部分偏差,因此做毫秒级比较前,先确认校时状态。

把首帧、卡顿和码率一起记下来

一次延迟实验至少保留四个指标:首帧时间、连续播放延迟、卡顿次数、接收码率。这样后面遇到“延迟变大”时,才能判断究竟是启动慢、缓冲变大还是网络抖动。

可以用播放器端的实际观察时间记录首帧。例如点击播放时记下 18:42:10.520,首次出现有效视频画面时记下 18:42:12.080,则首帧时间约为 1.560 s。连续播放阶段再单独测时间戳差值,不要把两者合并。

若使用 FFmpeg/ffplay 作为实验播放器,可在终端观察输入流统计;重点记录实际解码帧率是否接近源流的 30 fps,以及是否出现明显的重复或跳帧。码率也应使用实测值,而不是仅记录编码参数中的目标码率。

bash
ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,width,height,avg_frame_rate,bit_rate -of default=noprint_wrappers=1 rtsp://127.0.0.1:<PORT>/lab

预期输出

text
codec_name=h264
width=1280
height=720
avg_frame_rate=30/1
bit_rate=...

bit_rate 可能为空,这是因为部分实时流不会在 SDP 或流元数据中提供稳定的平均码率;遇到这种情况,不要填一个猜测值,而应改用播放器或网络抓包统计实际接收字节数。

建议把结果记成一行实验记录,例如:首帧 1.56 s / 延迟均值 1.30 s / 峰值 1.40 s / 卡顿 0 次 / 720p30。后续修改 GOP、缓冲区或网络条件时,直接和这行基线比较。

延迟异常时先判断是哪一段

首帧高、连续延迟正常,通常优先检查连接建立、SDP 获取、首个关键帧和播放器预缓冲;这类问题不会让已经稳定播放的画面一直滞后。

连续延迟持续升高,优先检查播放器缓冲、网络抖动和处理速度。如果推流持续 30 fps,而播放端实际长期低于 30 fps,延迟可能因为消费速度跟不上而逐渐累积。

码率突然下降并伴随卡顿,先看网络和发送端编码是否受限,不要先修改播放器缓冲。反过来,码率正常但延迟突然增加,则更应该检查播放缓冲或中间节点排队。

最终验收标准很简单:能复现同一条流、能指出首帧时间、能从画面时间戳读出端到端延迟,并能解释一次卡顿究竟是“首帧等待”“缓冲增加”还是“实际播放速度跟不上”。这四项齐全后,延迟数据才真正能用于后续排障和优化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用画面时间戳测量直播延迟

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通