音频开发 / 系统课时
处理丢包迟到与重复音频包
处理丢包迟到与重复音频包
实时音频接收端不能只按“收到就播”处理网络包:同一段音频可能缺失、晚到,也可能被重复传输。本篇用序号建立接收窗口,再结合播放截止时间决定丢弃、补位或丢包隐藏,让异常网络下的声音尽量连续且不额外放大延迟。
学习目标
- 根据包序号区分顺序到达、缺口、迟到和重复数据
- 结合播放截止时间判断“暂时没到”与“已经来不及”的差别
- 为短时丢包选择静音、前帧重复或编解码器 PLC 等补偿策略
用序号建立接收窗口
接收端至少要维护“下一期望序号”和“已经见过的序号”。新包等于期望值时正常接收;大于期望值时说明中间出现缺口,但此时只能记为待确认丢失,因为缺失包仍可能在播放截止时间前迟到;小于期望值且此前未见过时通常是迟到包,已经见过则是重复包。
下面的可运行示例用单调递增整数模拟序号,不处理真实协议中的序号回绕,重点演示分类逻辑。
class PacketTracker:
def __init__(self, first_seq):
self.expected = first_seq
self.seen = set()
def push(self, seq):
# 已处理过的序号再次出现时,不应重复解码。
if seq in self.seen:
return 'duplicate'
self.seen.add(seq)
if seq == self.expected:
# 连续补齐缺口后,一次推进到下一个真正缺失的位置。
while self.expected in self.seen:
self.expected += 1
return 'in-order'
if seq > self.expected:
return f'gap: missing {self.expected}..{seq - 1}'
return 'late'
def main():
tracker = PacketTracker(100)
for seq in [100, 101, 103, 102, 103, 104]:
print(f'{seq}: {tracker.push(seq)}')
if __name__ == '__main__':
main()预期输出
100: in-order
101: in-order
103: gap: missing 102..102
102: in-order
103: duplicate
104: in-order真实传输常使用有限位宽序号,例如 16 位序号会回绕,因此生产代码应使用模运算或扩展序号比较,不能简单用整数大小判断前后关系。
把序号和播放截止时间一起看
序号回答“包应排在哪里”,播放截止时间回答“现在还值不值得等”。缺口出现后,如果缺失包在对应音频帧进入解码或播放前到达,应重新插入正确位置;一旦超过截止时间,再把它塞回队列只会打乱时间线,通常应直接丢弃。

抖动缓冲因此不能无限等待。缓冲越大,乱序和迟到包越容易被修复,但端到端延迟也越高;缓冲越小,交互更灵敏,却会更频繁地把迟到包视为实际丢包。工程上应把“是否等待”交给播放时钟,而不是只看网络到达顺序。
丢包发生后怎么补
重复包最简单:只要确认已经接收过同一序号,就丢弃,不应再次解码或播放。迟到包则先判断是否仍在截止时间内,能赶上就按原时间位置恢复,赶不上就丢弃。
真正来不及恢复的短时丢包可以按能力从低到高处理:静音填充实现最简单,但容易产生断裂感;重复上一帧能保持短暂连续性,却可能造成嗡鸣或机械感;更好的做法是使用编解码器提供的 PLC(Packet Loss Concealment),根据前后音频状态合成缺失帧。PLC 适合掩盖短缺口,不应被当成长时间断网的替代方案。
选择策略时看故障范围
单个重复包通常直接丢弃;少量乱序依靠抖动缓冲重排;一两个连续丢失帧优先交给 PLC,没有 PLC 时再考虑平滑的前帧重复或静音;连续缺失时间明显变长时,应快速衰减、静音或进入重缓冲状态,避免长期复制旧音频制造错误内容。
稳定的接收链路并不是“尽量保住每个包”,而是在序号一致性、播放截止时间和听感之间做取舍:能及时恢复的包就恢复,已经错过时机的包就丢弃,真正缺失的短帧再用合适的隐藏策略补上。