编码与格式 / 系统课时

RTP 与媒体传输

RTP 与媒体传输

RTP 负责把实时音视频帧拆成可传输的数据包,并用序列号、时间戳和反馈信息帮助接收端恢复播放节奏。本课将建立一条完整链路:看懂 RTP 头部字段,区分网络抖动与丢包,并理解 WebRTC 如何据此重传或降码率。

学习目标

  • 说明 RTP 序列号与时间戳分别解决什么问题
  • 根据到包顺序判断乱序、丢包和抖动
  • 理解 NACK、PLI 与接收端报告的作用边界

RTP 包解决什么问题

实时媒体不能像普通文件那样等待全部数据到齐后再处理。编码器产生一帧后,发送端通常会把它拆成多个 RTP 包;接收端则需要判断这些包属于哪一段媒体时间、是否缺失,以及应在什么时候交给解码器。

RTP 本身不保证可靠传输,也不负责建立连接。它提供的是媒体层标识,底层通常由 UDP 或 WebRTC 的安全传输通道承载。可靠性、拥塞控制和反馈由 RTP、RTCP 及 WebRTC 传输机制共同完成。

RTP 包从发送到播放的字段与反馈关系

序列号与时间戳

序列号通常每发送一个 RTP 包递增一次。接收端发现序列号从 1001 跳到 1003,就会怀疑 1002 丢失;如果 1003 先到、1002 后到,则属于乱序。序列号位宽有限,会发生回绕,因此实现中不能只用普通大小比较判断新旧。

时间戳描述采样时间,而不是网络发送时间。多个属于同一视频帧的 RTP 包通常共享同一个时间戳;音频时间戳则按采样时钟递增。以 48 kHz 音频为例,20 ms 音频包含 960 个采样点,因此相邻包的时间戳通常增加 960。

字段 主要用途 不能直接说明
Sequence Number 检测丢包、乱序并恢复包顺序 包应在何时播放
Timestamp 表示媒体采样时间并驱动同步播放 包是否已经丢失
SSRC 区分同一会话中的媒体源 用户身份是否合法
Marker 标记帧边界或编码相关事件 所有编码格式中的固定含义

抖动与抖动缓冲

网络抖动是数据包到达间隔的变化。即使没有丢包,包也可能一会儿密集到达、一会儿延迟到达。接收端会设置抖动缓冲,先暂存少量数据,再按 RTP 时间戳稳定地送入解码器。

缓冲过小会更容易卡顿,缓冲过大则会增加通话延迟。实时通话通常动态调整缓冲深度:网络稳定时缩短等待时间,抖动增大时适当延长。这里的目标不是消除延迟,而是在流畅度和交互性之间取得平衡。

丢包反馈与恢复策略

接收端确认某个序列号缺失后,可以通过 NACK 告诉发送端重传指定 RTP 包。重传是否有价值取决于往返时延:如果补发包到达时已经错过播放截止时间,继续重传只会浪费带宽。

当视频参考帧损坏、后续帧难以正确解码时,接收端可发送 PLI,请求编码器尽快产生关键帧。PLI 不是请求重传某个旧包,而是要求从新的可独立解码画面重新恢复。

RTCP 接收报告还会携带丢包比例、最高序列号和抖动估计等统计信息。发送端结合这些反馈调整码率、分辨率或帧率。连续丢包时,正确策略通常不是无限重传,而是降低发送负载,让链路重新稳定。

判断问题的顺序

排查实时媒体卡顿时,先看序列号是否连续,再看到达间隔是否稳定,最后结合反馈与码率变化判断拥塞。序列号连续但播放忽快忽慢,多半是抖动;序列号明显缺口并出现 NACK,多半是丢包;频繁 PLI 则通常意味着视频解码链路反复失去参考帧。

不要把 RTP 时间戳当作系统毫秒时间,也不要仅凭单个包延迟判断网络质量。实时传输更关注一段时间内的趋势,包括丢包率、抖动、往返时延和可用带宽。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

RTP 与媒体传输

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通