流媒体与实时通信 / 系统课时

丢包后声音为什么会断

丢包后声音为什么会断

音频包一旦在网络中丢失,接收端就会在原本连续的媒体时间轴上遇到空洞。真正决定“会不会听见断音”的,不只是丢了几个包,还包括乱序等待时间、播放截止时间以及 PLC、FEC 或重传能否在截止前补上缺失音频。

学习目标

  • 区分真正丢包与 RTP 包乱序
  • 理解 jitter buffer、PLC、FEC 和重传各自解决什么问题
  • 能沿着“序列号缺口到听感”的链路定位断音原因

先判断缺的是包还是顺序

RTP sequence number 每发一个包递增一次,因此接收端看到 100、102、101 时,不能在 102 到达的瞬间就断定 101 已经丢失。网络可能只是让 102 先到了。jitter buffer 会在有限时间内等待并重排序,只有缺失包超过可等待的播放截止时间,才需要进入恢复或隐藏路径。

RTP 丢包、乱序与恢复的时序图

抖动缓冲先吸收乱序

下面的可运行示例不是 WebRTC 源码,而是一个最小模型:先把乱序包放进缓冲区,只要期望的序列号已经到达就连续取出;当 103 到播放截止时间仍缺失时,用 PLC 代表“生成一帧隐藏音频”,然后继续播放后面的 104。

python
arrivals = [
    (100, "A"),
    (102, "C"),
    (101, "B"),
    (104, "E"),
]

expected = 100
buffer = {}
played = []

for seq, payload in arrivals:
    buffer[seq] = payload
    while expected in buffer:
        played.append((expected, buffer.pop(expected)))
        expected += 1

# 模拟 seq=103 已到播放截止时间,不能继续等待。
played.append((expected, "PLC"))
expected += 1

while expected in buffer:
    played.append((expected, buffer.pop(expected)))
    expected += 1

print(played)
print(f"buffer_left={buffer}")

预期输出

text
[(100, 'A'), (101, 'B'), (102, 'C'), (103, 'PLC'), (104, 'E')]
buffer_left={}

这个模型说明了两个关键点:102 早到不会直接造成断音,因为 101 仍可在缓冲窗口内补回;真正棘手的是 103 超过播放截止时间仍然缺失,此时接收端必须在“继续等”和“按时播”之间做取舍。

缺失帧怎样被补救

PLC(Packet Loss Concealment)不恢复原始比特,而是根据前后音频估计一个可听上更平滑的替代帧。连续丢包越多,可利用的上下文越少,PLC 越容易从“轻微音质变化”退化成明显断裂或静音。

FEC 的目标是让后续数据携带足以恢复前面缺失音频的信息。以 Opus in-band FEC 为例,接收端通常需要等待后一个包才能尝试恢复前一帧,所以会增加一点等待需求;如果 jitter buffer 太紧,即使网络传来了可恢复信息,也可能错过播放截止时间。

NACK/重传则受 RTT 约束。音频是实时媒体,缺失包即使最终重传成功,只要到达时播放时刻已经过去,价值也很低。因此“重传成功”不等于“听感已经修复”。

为什么连续丢包更容易听见

单个短帧丢失时,PLC 往往可以把波形过渡做得比较自然;连续多帧丢失会同时拉长媒体空洞,并削弱恢复算法的参考信息。若丢包同时伴随较大网络抖动,jitter buffer 还可能频繁扩张或收缩,听感就会从偶发瑕疵变成卡顿、断续甚至明显静音。

排查断音时可按顺序判断:先看 sequence number 是否有真实缺口,再看缺包是否在缓冲窗口内晚到;确认确实缺失后,再检查 PLC/FEC 是否启用且来得及生效,最后再评估 RTT 是否让重传仍有意义。这样可以把“网络丢包”“缓冲太小”和“恢复机制没有赶上截止时间”分开处理。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

丢包后声音为什么会断

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通