音频开发 / 系统课时
把编码帧组织成 RTP 数据包
把编码帧组织成 RTP 数据包
编码器输出的字节还不能直接当成实时传输协议。RTP 需要在载荷前增加序号、时间戳、载荷类型和 SSRC 等字段,接收端才能排序、判断时间位置并区分同步源。本篇用一个最小可运行示例把编码载荷封成 RTP 包,并说明帧与包为何不总是一一对应。
学习目标
- 识别 RTP 音频包中 PT、Sequence Number、Timestamp 和 SSRC 的职责
- 根据采样时钟正确推进序号与时间戳
- 区分编码帧、编码器输出包与 RTP 数据包之间的映射关系
先看 RTP 头里真正影响音频的字段
最常见的 RTP 固定头是 12 字节。音频传输时,以下字段最值得先掌握:
| 字段 | 作用 | 常见更新方式 |
|---|---|---|
| Payload Type,PT | 告诉会话双方当前载荷按哪种已协商格式解释 | 通常在会话协商后保持稳定 |
| Sequence Number | 让接收端发现乱序和丢包 | 每发送一个 RTP 包加 1,按 16 位回绕 |
| Timestamp | 表示该载荷在媒体时间轴上的采样位置 | 按该包所覆盖的 RTP 时钟采样数推进 |
| SSRC | 标识一个同步源 | 同一发送源通常保持稳定,发生冲突时重新选择 |
Timestamp 不是“发送时刻的毫秒数”。例如 RTP 时钟为 48 kHz、每个包覆盖 20 ms 音频时,每个包的时间戳增量是 。即使网络发送时间发生抖动,媒体时间轴仍按 960 递增。
看清帧与 RTP 包的映射
“一个编码帧就是一个 RTP 包”只能作为某些负载格式下的简化理解。实际映射由具体 codec 的 RTP payload format 决定:有的格式允许把多个编码帧聚合进一个 RTP 载荷,有的允许把一个较大的编码单元拆到多个 RTP 包;同时还要受 MTU 和延迟目标约束。

因此,发送端要维护的是RTP 包级序号和媒体时间级时间戳。一个包里聚合了更多音频时长时,下一包的 timestamp 要按总覆盖采样数前进;如果一个编码单元被拆成多个 RTP 包,是否共用时间戳以及如何标记边界,则必须遵循该 codec 的 RTP 负载规范。
用 Python 构造最小 RTP 包
下面的示例只演示 RTP 固定头如何编码,不绑定某个具体 codec。假设动态 PT 为 111,当前序号为 1000,时间戳为 48000,SSRC 为 0x12345678,后面附 3 字节演示载荷。
import struct
version = 2
padding = 0
extension = 0
csrc_count = 0
marker = 0
payload_type = 111
sequence = 1000
timestamp = 48000
ssrc = 0x12345678
payload = bytes.fromhex("f8fffe")
# V/P/X/CC 组成第一个字节,M/PT 组成第二个字节。
b0 = (version << 6) | (padding << 5) | (extension << 4) | csrc_count
b1 = (marker << 7) | payload_type
header = struct.pack("!BBHII", b0, b1, sequence, timestamp, ssrc)
packet = header + payload
print(header.hex())
print(len(packet))预期输出:
806f03e80000bb8012345678
15这里 !BBHII 使用网络字节序。12 字节头之后紧跟演示载荷,因此总长度是 15 字节。真实发送时,PT 必须与会话协商结果一致,payload 也必须符合对应 codec 的 RTP 负载格式,不能只把任意编码字节拼到头后就认为协议已经正确。
正确推进序号与时间戳
发送一个 RTP 包后,Sequence Number 增加 1;它解决的是“第几个包”的问题。Timestamp 则解决“这段媒体位于时间轴哪里”的问题,两者不能混用。
例如 48 kHz 音频每包承载 20 ms,则下一包 timestamp 增加 960;若一个 RTP 包聚合了 40 ms 音频,则下一包应增加 1920。Sequence Number 无论载荷覆盖 20 ms 还是 40 ms,都只增加 1,因为它按 RTP 包计数。
发送前检查三个边界
先确认 PT 与 SDP 或其他信令协商一致,再确认 RTP timestamp 的时钟频率与 codec 负载规范一致,最后控制包长不要无意中超过路径 MTU。接收端依赖这些信息做抖动缓冲、乱序恢复和播放调度,任一字段虽然“能发出去”,都可能在远端表现为无声、加速、卡顿或持续丢包。
组织 RTP 包时,最重要的不是背 12 字节头,而是同时维护两条轴:Sequence Number 跟踪网络包顺序,Timestamp 跟踪媒体采样时间;编码帧如何装入 payload,则交给具体 codec 的 RTP payload format 决定。