音频开发 / 技术文章

音频为什么会延迟和爆音

音频出现延迟和爆音,通常不是单个函数慢,而是采集、缓冲、处理、传输、播放多个环节叠加造成的。本文面向音视频开发工程师以及实时通信、音频处理应用的后端和客户端开发者,帮助建立从现象到链路定位的方法,最终能够区分延迟来自缓冲还是线程调度,并判断爆音究竟是欠载、溢出、采样率不匹配还是数据边界错误。

音频延迟到底是从哪里产生的

一段实时音频通常经过“采集 → 缓冲 → 编解码 → 网络 → 解码 → 播放缓冲 → 声卡输出”这条链路。任何环节增加等待时间,端到端延迟都会上升。

常见来源包括采集设备内部缓冲、应用层环形缓冲、编码帧等待、网络抖动缓冲、解码排队和播放器预缓冲。实时通话中,几十毫秒级的变化也可能被用户明显感知。

可以先把总延迟理解成:

Ttotal=Tcapture+Tbuffer+Tencode+Tnetwork+Tdecode+TplaybackT_{total}=T_{capture}+T_{buffer}+T_{encode}+T_{network}+T_{decode}+T_{playback}

这里不要求每一项都单独测量,但需要避免一开始就把问题归因到网络。很多“网络延迟”实际是客户端为了防抖动而增加了播放缓冲。

为什么缓冲越大声音越稳却越慢

缓冲区的作用是吸收生产端和消费端速度的短时波动。采集线程偶尔晚来几个音频块时,更大的缓冲可以避免播放线程立即断粮;但代价是声音必须先等待更多数据才能播放。

若播放策略规定先攒够 5 个各含 20 ms PCM 的块,启动门槛就是 100 ms 的音频数据。实际等多久取决于数据到达、驱动提交和播放启动的时刻。做端到端预算时,为每个阶段明确时间参考点,避免把同一段攒帧等待同时计入采集、编码和预缓冲。

因此实时音频调优不是简单追求“缓冲越小越好”。缓冲过小会频繁欠载,过大又会让交互变迟钝。工程上需要根据设备稳定性、线程调度抖动和网络波动选择合理的安全余量。

爆音为什么经常和欠载有关

所谓爆音、啪声、咔哒声或短促杂音,常见原因之一是播放端没有及时拿到连续的 PCM 数据,导致音频设备出现 underrun。另一类情况是缓冲区溢出、数据覆盖或读写指针失步,使播放线程读到了错误的采样数据。

还有一种高频问题是音频参数不一致,例如采集端输出 48 kHz,而处理或播放链路错误地按 44.1 kHz 解释;或者实际是双声道数据,却被单声道路径按错误步长读取。这类错误可能直接表现为变速、失真或明显爆音。

排查时应同时记录:采样率、声道数、采样格式、每帧字节数、缓冲深度,以及生产和消费速率。只看最终听感,往往很难区分到底是时序问题还是数据解释问题。

用日志判断是欠载、溢出还是调度抖动

实时音频问题最怕“偶现但无法复现”。与其只打印“播放失败”,不如围绕音频块建立连续统计,记录生产速度、消费速度、缓冲水位和异常次数。

实时回调只应按接口约束收集轻量计数或时间戳,例如更新计数器或写入预分配队列。由非实时线程汇总和输出日志,避免在回调中打印、等待锁或分配内存,使测量本身影响播放。参见 PortAudio 回调约束。可以从以下指标开始。

text
capture_rate=48000Hz
channels=2
bytes_per_sample=2
period_frames=960
buffer_frames=2880
underrun=3
overrun=0
jitter_peak_ms=7.4

预期结果:正常运行时,underrun 和 overrun 应长期保持不增长,buffer_frames 应在稳定范围内波动;如果爆音发生时 underrun 同时增加,应优先检查播放线程调度、处理耗时和缓冲深度。

还可以直接观察进程线程调度与系统负载:

bash
ps -L -p "$AUDIO_PID" -o pid,tid,cls,rtprio,pri,psr,pcpu,stat,comm
vmstat 1 5

将 AUDIO_PID 设为待诊断进程的 PID。ps 和 vmstat 提供调度类别与系统负载的抽样线索。要确认错过实时截止时间,应把爆音时刻与线程唤醒延迟、回调执行耗时和缓冲水位对齐,必要时用系统跟踪。参见 Linux 的 ALSA PCM 时间戳说明。

采样率和音频帧大小为什么会影响稳定性

PCM 的一帧包含同一采样时刻每个声道的一个样本。双声道、每样本 2 字节时,每帧是 4 字节。设备 period、应用处理块和编解码帧可以各自包含不同数量的 PCM 帧。块越大,攒齐一块可能越久。块越小,调度和调用频率通常越高。参见 ALSA PCM 接口说明。

例如 48 kHz 音频使用 960 frames 时,一块音频持续时间为:

960/48000=0.02s=20ms960/48000=0.02s=20ms

这个 period 一共是 960 个 PCM 帧,按上面的双声道格式需 3840 字节。上下游块大小可以不同,由缓冲和分帧层处理边界。核对每次调用参数的单位是帧、样本还是字节,并检查部分读写的返回值,避免丢帧、重读或截断。

对于重采样链路,应确认输入和输出采样率,以及转换发生的位置。还要区分把 PCM 按错误采样率解释,与两台设备都设为 48 kHz、实际时钟略有不同这两种问题。前者常造成持续的变速或变调,后者可能让缓冲水位朝一个方向缓慢变化,最后周期性欠载或溢出。

例如,采集端比播放端快 100 ppm,名义速率为 48 kHz。忽略抖动和速率校正时,下面的 Python 算例估算 480 帧缓冲余量被用完的时间。

python
sample_rate = 48_000
rate_error_ppm = 100
room_frames = 480
drift_frames_per_sec = sample_rate * rate_error_ppm / 1_000_000
print(f"每秒净增加 {drift_frames_per_sec:.1f} 帧")
print(f"缓冲余量约 {room_frames / drift_frames_per_sec:.0f} 秒耗尽")
text
每秒净增加 4.8 帧
缓冲余量约 100 秒耗尽

若日志显示这种单向漂移,应先核对两个设备的时钟域,必要时用基于缓冲水位的速率匹配或自适应重采样。增大缓冲只能推迟漂移造成的故障。

一套从现象到根因的排查顺序

先确认问题属于“整体变慢”还是“局部爆音”。整体变慢通常优先检查累计缓冲和队列长度;周期性爆音优先检查 underrun、线程调度和固定周期任务;持续失真则应检查采样率、声道数、采样格式和帧大小。

沿链路用帧序号关联采集、编码、发送、接收、解码和播放提交,在同一时钟域内用单调时钟比较相邻阶段。跨设备测单向延迟时,要先对齐时钟并估计同步误差。RTP 时间戳描述媒体采样时序,不能直接减本机时钟读数。若目标是实际听到的端到端延迟,还需使用经过校准的声学或电气回环,或能反映硬件播放位置的时间戳。参见 RTP 时序定义。若网络时间正常但播放时间明显拉长,应重点检查播放缓冲;若某个处理阶段偶发出现几十毫秒以上的空洞,则应继续检查锁竞争、垃圾回收、CPU 抢占或线程优先级。

最后再调整参数。不要同时修改多个缓冲和线程参数,否则即使问题消失,也很难确认真正有效的变化。一次只改一个变量,并同步记录端到端延迟、underrun/overrun 次数和主观音质变化,才能建立可复现的优化结论。

目录与阅读设置

记录一个想法

音频为什么会延迟和爆音

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通