音频开发 / 系统课时

处理丢包迟到与重复音频包

处理丢包迟到与重复音频包

实时音频接收端不能只按“收到就播”处理网络包:同一段音频可能缺失、晚到,也可能被重复传输。本篇用序号建立接收窗口,再结合播放截止时间决定丢弃、补位或丢包隐藏,让异常网络下的声音尽量连续且不额外放大延迟。

学习目标

  • 根据包序号区分顺序到达、缺口、迟到和重复数据
  • 结合播放截止时间判断“暂时没到”与“已经来不及”的差别
  • 为短时丢包选择静音、前帧重复或编解码器 PLC 等补偿策略

用序号建立接收窗口

接收端至少要维护“下一期望序号”和“已经见过的序号”。新包等于期望值时正常接收;大于期望值时说明中间出现缺口,但此时只能记为待确认丢失,因为缺失包仍可能在播放截止时间前迟到;小于期望值且此前未见过时通常是迟到包,已经见过则是重复包。

下面的可运行示例用单调递增整数模拟序号,不处理真实协议中的序号回绕,重点演示分类逻辑。

python
class PacketTracker:
    def __init__(self, first_seq):
        self.expected = first_seq
        self.seen = set()

    def push(self, seq):
        # 已处理过的序号再次出现时,不应重复解码。
        if seq in self.seen:
            return 'duplicate'

        self.seen.add(seq)
        if seq == self.expected:
            # 连续补齐缺口后,一次推进到下一个真正缺失的位置。
            while self.expected in self.seen:
                self.expected += 1
            return 'in-order'

        if seq > self.expected:
            return f'gap: missing {self.expected}..{seq - 1}'

        return 'late'


def main():
    tracker = PacketTracker(100)
    for seq in [100, 101, 103, 102, 103, 104]:
        print(f'{seq}: {tracker.push(seq)}')


if __name__ == '__main__':
    main()

预期输出

text
100: in-order
101: in-order
103: gap: missing 102..102
102: in-order
103: duplicate
104: in-order

真实传输常使用有限位宽序号,例如 16 位序号会回绕,因此生产代码应使用模运算或扩展序号比较,不能简单用整数大小判断前后关系。

把序号和播放截止时间一起看

序号回答“包应排在哪里”,播放截止时间回答“现在还值不值得等”。缺口出现后,如果缺失包在对应音频帧进入解码或播放前到达,应重新插入正确位置;一旦超过截止时间,再把它塞回队列只会打乱时间线,通常应直接丢弃。

音频包缺口迟到与重复判定时间线

抖动缓冲因此不能无限等待。缓冲越大,乱序和迟到包越容易被修复,但端到端延迟也越高;缓冲越小,交互更灵敏,却会更频繁地把迟到包视为实际丢包。工程上应把“是否等待”交给播放时钟,而不是只看网络到达顺序。

丢包发生后怎么补

重复包最简单:只要确认已经接收过同一序号,就丢弃,不应再次解码或播放。迟到包则先判断是否仍在截止时间内,能赶上就按原时间位置恢复,赶不上就丢弃。

真正来不及恢复的短时丢包可以按能力从低到高处理:静音填充实现最简单,但容易产生断裂感;重复上一帧能保持短暂连续性,却可能造成嗡鸣或机械感;更好的做法是使用编解码器提供的 PLC(Packet Loss Concealment),根据前后音频状态合成缺失帧。PLC 适合掩盖短缺口,不应被当成长时间断网的替代方案。

选择策略时看故障范围

单个重复包通常直接丢弃;少量乱序依靠抖动缓冲重排;一两个连续丢失帧优先交给 PLC,没有 PLC 时再考虑平滑的前帧重复或静音;连续缺失时间明显变长时,应快速衰减、静音或进入重缓冲状态,避免长期复制旧音频制造错误内容。

稳定的接收链路并不是“尽量保住每个包”,而是在序号一致性、播放截止时间和听感之间做取舍:能及时恢复的包就恢复,已经错过时机的包就丢弃,真正缺失的短帧再用合适的隐藏策略补上。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理丢包迟到与重复音频包

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通