音频开发 / 系统课时

用序号和时间戳恢复播放顺序

用序号和时间戳恢复播放顺序

实时音频到达接收端时,包可能乱序、延迟甚至丢失。本节用 RTP 的 sequence number 负责“包的先后”,用 timestamp 负责“音频时间”,并通过一个乱序示例把网络到达顺序重新映射成稳定的播放顺序。

学习目标

  • 区分 RTP sequence number 与 timestamp 的职责,避免把两者当成同一种计数器。
  • 能从序号发现乱序与丢包,并按音频时钟频率换算播放时间。
  • 能处理序号回绕、重复包和时间戳不连续等常见边界。

两个字段解决两个不同问题

sequence number 通常每发送一个 RTP 包递增 1。接收端最适合用它判断“这个包应该排在谁前面”“中间是否少了包”“这个包是不是重复到达”。它描述的是包级顺序,而不是音频实际经过了多少时间。

timestamp 按音频时钟推进,表示该包中第一个媒体采样对应的时间位置。假设音频时钟频率为 48 kHz,每包承载 20 ms 音频,那么每个包的时间戳通常增加 48000×0.02=96048000 × 0.02 = 960。它描述的是媒体时间,因此即使某个包丢失,后续包的时间戳仍会继续前进。

从乱序到播放时间

假设发送端依次产生序号 1000、1001、1002、1003 的四个包,每包 20 ms。网络把 1002 提前送到,1001 丢失,接收端实际看到的顺序变成 1002、1000、1003。

序号重排与时间戳映射示意图

恢复顺序时,不要直接按到达时间播放。先把包放入一个短暂的重排区,根据 sequence number 排序;若期望序号长期没有出现,就把它记为丢包并继续推进。随后以某个基准 timestamp 为零点,把时间戳差除以时钟频率得到相对播放时间。

下面的 Python 示例模拟这三个到达包。排序键使用 16 位模运算,因此即使序号接近 65535,也能以给定基准序号为起点正确排序。

python
CLOCK_RATE = 48_000
BASE_SEQ = 1000
BASE_TS = 48_000

packets = [
    {"seq": 1002, "ts": 49_920},
    {"seq": 1000, "ts": 48_000},
    {"seq": 1003, "ts": 50_880},
]

def seq_distance(seq: int, base: int) -> int:
    # RTP sequence number 是 16 位无符号计数器,会发生回绕。
    return (seq - base) & 0xFFFF

ordered = sorted(packets, key=lambda p: seq_distance(p["seq"], BASE_SEQ))

expected = BASE_SEQ
for packet in ordered:
    distance = seq_distance(packet["seq"], expected)
    if distance > 0:
        print(f"missing {distance} packet(s) before seq={packet['seq']}")
    play_ms = ((packet["ts"] - BASE_TS) & 0xFFFFFFFF) * 1000 / CLOCK_RATE
    print(f"seq={packet['seq']} play_at={play_ms:.0f} ms")
    expected = (packet["seq"] + 1) & 0xFFFF

预期输出

text
seq=1000 play_at=0 ms
missing 1 packet(s) before seq=1002
seq=1002 play_at=40 ms
seq=1003 play_at=60 ms

这里没有把 1002 提前到 20 ms 播放,而是保留了它原本的 40 ms 媒体位置。缺失的 20 ms 区间需要交给静音、重复上一帧或更专业的丢包隐藏策略处理,而不是靠修改 timestamp 把后续音频硬挤到前面。

计算播放时间时看时钟而不是包数

若基准时间戳为 ts0,某包时间戳为 ts,音频时钟频率为 clock_rate,则相对播放时间可写成:

play_seconds=ts−ts0clock_rateplay\_seconds = \frac{ts - ts0}{clock\_rate}

对于固定 20 ms 的 48 kHz 音频,连续包常见增量是 960;但不能反过来假设“序号加 1,时间戳就一定加 960”。可变帧长、聚合多个音频帧或不同负载格式都可能让时间戳步长变化,因此播放调度应以 timestamp 为准。

边界条件要单独处理

sequence number 是 16 位,会从 65535 回到 0;timestamp 也是有限位宽计数器,也会回绕。比较它们时应使用模空间中的相对距离,而不是普通整数大小关系,否则回绕点附近会被误判成“大量乱序”。

重复包应在入队时去重;迟到到已经错过播放截止时间的包通常应丢弃;如果 sequence number 连续但 timestamp 出现异常跳变,则要怀疑发送端打包、时钟频率配置或流切换,而不是把它当成普通网络乱序。

只要把“包顺序”和“媒体时间”分开建模,接收端就能同时回答两个关键问题:接下来应该处理哪个包,以及这个包应该在播放时间轴上的什么位置出现。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用序号和时间戳恢复播放顺序

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通