音频开发 / 系统课时

把编码帧组织成 RTP 数据包

把编码帧组织成 RTP 数据包

编码器输出的字节还不能直接当成实时传输协议。RTP 需要在载荷前增加序号、时间戳、载荷类型和 SSRC 等字段,接收端才能排序、判断时间位置并区分同步源。本篇用一个最小可运行示例把编码载荷封成 RTP 包,并说明帧与包为何不总是一一对应。

学习目标

  • 识别 RTP 音频包中 PT、Sequence Number、Timestamp 和 SSRC 的职责
  • 根据采样时钟正确推进序号与时间戳
  • 区分编码帧、编码器输出包与 RTP 数据包之间的映射关系

先看 RTP 头里真正影响音频的字段

最常见的 RTP 固定头是 12 字节。音频传输时,以下字段最值得先掌握:

字段 作用 常见更新方式
Payload Type,PT 告诉会话双方当前载荷按哪种已协商格式解释 通常在会话协商后保持稳定
Sequence Number 让接收端发现乱序和丢包 每发送一个 RTP 包加 1,按 16 位回绕
Timestamp 表示该载荷在媒体时间轴上的采样位置 按该包所覆盖的 RTP 时钟采样数推进
SSRC 标识一个同步源 同一发送源通常保持稳定,发生冲突时重新选择

Timestamp 不是“发送时刻的毫秒数”。例如 RTP 时钟为 48 kHz、每个包覆盖 20 ms 音频时,每个包的时间戳增量是 48000×0.02=96048000 \times 0.02 = 960。即使网络发送时间发生抖动,媒体时间轴仍按 960 递增。

看清帧与 RTP 包的映射

“一个编码帧就是一个 RTP 包”只能作为某些负载格式下的简化理解。实际映射由具体 codec 的 RTP payload format 决定:有的格式允许把多个编码帧聚合进一个 RTP 载荷,有的允许把一个较大的编码单元拆到多个 RTP 包;同时还要受 MTU 和延迟目标约束。

编码帧到 RTP 数据包的三种映射关系

因此,发送端要维护的是RTP 包级序号和媒体时间级时间戳。一个包里聚合了更多音频时长时,下一包的 timestamp 要按总覆盖采样数前进;如果一个编码单元被拆成多个 RTP 包,是否共用时间戳以及如何标记边界,则必须遵循该 codec 的 RTP 负载规范。

用 Python 构造最小 RTP 包

下面的示例只演示 RTP 固定头如何编码,不绑定某个具体 codec。假设动态 PT 为 111,当前序号为 1000,时间戳为 48000,SSRC 为 0x12345678,后面附 3 字节演示载荷。

python
import struct

version = 2
padding = 0
extension = 0
csrc_count = 0
marker = 0
payload_type = 111

sequence = 1000
timestamp = 48000
ssrc = 0x12345678
payload = bytes.fromhex("f8fffe")

# V/P/X/CC 组成第一个字节,M/PT 组成第二个字节。
b0 = (version << 6) | (padding << 5) | (extension << 4) | csrc_count
b1 = (marker << 7) | payload_type

header = struct.pack("!BBHII", b0, b1, sequence, timestamp, ssrc)
packet = header + payload

print(header.hex())
print(len(packet))

预期输出:

text
806f03e80000bb8012345678
15

这里 !BBHII 使用网络字节序。12 字节头之后紧跟演示载荷,因此总长度是 15 字节。真实发送时,PT 必须与会话协商结果一致,payload 也必须符合对应 codec 的 RTP 负载格式,不能只把任意编码字节拼到头后就认为协议已经正确。

正确推进序号与时间戳

发送一个 RTP 包后,Sequence Number 增加 1;它解决的是“第几个包”的问题。Timestamp 则解决“这段媒体位于时间轴哪里”的问题,两者不能混用。

例如 48 kHz 音频每包承载 20 ms,则下一包 timestamp 增加 960;若一个 RTP 包聚合了 40 ms 音频,则下一包应增加 1920。Sequence Number 无论载荷覆盖 20 ms 还是 40 ms,都只增加 1,因为它按 RTP 包计数。

发送前检查三个边界

先确认 PT 与 SDP 或其他信令协商一致,再确认 RTP timestamp 的时钟频率与 codec 负载规范一致,最后控制包长不要无意中超过路径 MTU。接收端依赖这些信息做抖动缓冲、乱序恢复和播放调度,任一字段虽然“能发出去”,都可能在远端表现为无声、加速、卡顿或持续丢包。

组织 RTP 包时,最重要的不是背 12 字节头,而是同时维护两条轴:Sequence Number 跟踪网络包顺序,Timestamp 跟踪媒体采样时间;编码帧如何装入 payload,则交给具体 codec 的 RTP payload format 决定。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

把编码帧组织成 RTP 数据包

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通