编码与格式 / 系统课时
将 PCM 音频写入播放设备
将 PCM 音频写入播放设备
播放器解码出 PCM 音频后,还需要将样本转换为设备支持的格式,持续送入音频缓冲区,才能真正听到声音。本篇使用 SDL2 建立最小音频播放链路,理解采样格式、回调供数、缓冲管理和播放延迟,并掌握判断声音卡顿及延迟来源的方法。
学习目标
- 理解 PCM 采样率、声道数、样本格式与设备播放参数的关系。
- 使用 SDL2 音频回调把 PCM 样本送入系统输出设备。
- 估算音频缓冲延迟,识别缺样、格式错误和缓冲过大的问题。
PCM 为什么不能直接随意写入声卡
PCM 是按时间排列的数字音频样本,但样本字节本身不携带完整的播放约定。输出设备必须知道采样率、声道数和采样格式,才能正确解释这些字节。
以 48 kHz、双声道、16 位有符号整数 PCM 为例:
| 参数 | 示例取值 | 含义 |
|---|---|---|
| 采样率 | 48000 Hz | 每个声道每秒 48000 个样本 |
| 声道数 | 2 | 左右双声道 |
| 样本格式 | S16 | 每个样本占 2 字节 |
| 声道布局 | 交错排列 | 每帧依次保存左、右样本 |
| 每帧字节数 | 4 B | 2 声道 × 2 字节 |
| 每秒数据量 | 192000 B | 48000 × 4 |
这里的音频帧指同一采样时刻所有声道的样本集合,不是 AAC 音频帧,也不是视频帧。1024 个这样的 PCM 帧包含 4096 字节,播放时间约 21.33 ms。
如果把 44100 Hz 数据当作 48000 Hz 播放,声音会变快、音调升高;如果把单声道数据当作交错双声道播放,声道解释和播放时长都会出错。
播放器应先取得解码器输出格式,再协商实际设备格式。不一致时使用音频重采样或格式转换,不能只修改采样率字段而不转换样本。
音频输出链路如何工作
实际播放器通常经历解复用、解码、PCM 队列、格式转换、设备缓冲和系统混音等阶段。SDL2 可以封装平台音频 API,但音频设备仍按自己的时钟持续消耗样本。

理解这条链路时,需要区分两个时钟:
- 解码线程根据媒体数据生产 PCM,可以短时间快于实时播放。
- 输出设备依据音频硬件时钟消耗 PCM,正常播放时平均消耗速度由采样率决定。
实际工程通常把解码线程与音频回调线程隔离:解码线程提前向有界 PCM 队列填充数据,回调线程只读取已经准备好的样本。队列容量可以先设置为 100~200 ms,再根据设备和应用场景测量调整。
当队列为空时仍必须填满设备要求的输出缓冲。对于有符号 16 位 PCM,可以使用零值表示静音;不能把未初始化内存交给设备。对于无符号 8 位 PCM,静音值通常是 128,因此应依据实际样本格式填充静音。
使用 SDL2 回调播放 PCM
下面用 C 语言和 SDL2 2.x 播放一秒钟的 440 Hz 正弦波。示例没有引入解码器,直接生成 PCM,便于单独验证从内存到扬声器的输出过程。
环境使用安装了 SDL2 开发文件的 Linux 系统,例如 Ubuntu。先安装依赖:
sudo apt update
sudo apt install -y build-essential libsdl2-dev预期结果:安装成功后执行 sdl2-config --version 会输出已安装的 SDL2 版本号,具体版本取决于系统软件源。
程序使用 SDL_OpenAudioDevice 打开播放设备,要求 48000 Hz、双声道和 AUDIO_S16SYS 格式。设备可能返回不同的实际参数,因此示例不允许静默修改格式;若无法获得完全匹配的配置,直接报错,避免错误解释 PCM 数据。
#include <SDL.h>
#include <math.h>
#include <stdint.h>
#include <stdio.h>
#include <string.h>
#define RATE 48000
#define CHANNELS 2
#define FRAMES 48000
#define PI 3.14159265358979323846
typedef struct {
int16_t pcm[FRAMES * CHANNELS];
size_t offset;
size_t total;
} AudioData;
static void audio_callback(void *userdata, Uint8 *stream, int len) {
AudioData *data = (AudioData *)userdata;
size_t remaining = data->total - data->offset;
size_t requested = (size_t)len;
size_t count = remaining < requested ? remaining : requested;
// S16 有符号整数的零值为静音,先填满设备请求的区域。
memset(stream, 0, requested);
if (count > 0) {
memcpy(stream, (const Uint8 *)data->pcm + data->offset, count);
data->offset += count;
}
}
int main(void) {
AudioData data = {0};
data.total = sizeof(data.pcm);
// 每个时刻生成一对相同样本,分别写入左右声道。
for (int i = 0; i < FRAMES; ++i) {
double phase = 2.0 * PI * 440.0 * i / RATE;
int16_t sample = (int16_t)(sin(phase) * 10000.0);
data.pcm[i * 2] = sample;
data.pcm[i * 2 + 1] = sample;
}
if (SDL_Init(SDL_INIT_AUDIO) != 0) {
fprintf(stderr, "SDL_Init: %s\n", SDL_GetError());
return 1;
}
SDL_AudioSpec desired = {0};
SDL_AudioSpec obtained = {0};
desired.freq = RATE;
desired.format = AUDIO_S16SYS;
desired.channels = CHANNELS;
desired.samples = 1024;
desired.callback = audio_callback;
desired.userdata = &data;
SDL_AudioDeviceID device = SDL_OpenAudioDevice(
NULL, 0, &desired, &obtained, 0);
if (device == 0) {
fprintf(stderr, "OpenAudioDevice: %s\n", SDL_GetError());
SDL_Quit();
return 1;
}
printf("rate=%d channels=%u samples=%u\n",
obtained.freq, obtained.channels, obtained.samples);
// 解除暂停后,SDL 音频线程开始按需调用回调。
SDL_PauseAudioDevice(device, 0);
SDL_Delay(1300);
SDL_CloseAudioDevice(device);
SDL_Quit();
return 0;
}保存为 play_pcm.c,编译并运行:
gcc play_pcm.c -o play_pcm $(sdl2-config --cflags --libs) -lm
./play_pcm预期输出(典型协商结果):
rate=48000 channels=2 samples=1024扬声器应播放约一秒的 440 Hz 音调,随后恢复安静。设备返回的 samples 可能不是 1024,打印结果以实际设备为准;音频播放也受系统音量、设备连接和音频服务状态影响。
这里 SDL_Delay(1300) 只是为了让示例有足够时间播放尾部数据,不是生产环境的播放完成判定。实际播放器应基于已消费帧数、队列状态和输出设备剩余缓冲来管理结束行为。
缓冲区大小怎样影响播放延迟
输出回调通常一次请求若干 PCM 帧。对于 48000 Hz 设备,请求 1024 帧对应的音频时长为:
这个值是单次缓冲覆盖的播放时间,不等于用户听到声音的端到端延迟。实际延迟还包括解码队列、软件混音、操作系统音频服务及硬件缓冲。
| 回调帧数 | 48 kHz 下的音频时长 | 主要取舍 |
|---|---|---|
| 256 | 5.33 ms | 供数频繁,调度要求更高 |
| 512 | 10.67 ms | 延迟与稳定性的折中 |
| 1024 | 21.33 ms | 较容易容忍短暂调度波动 |
| 2048 | 42.67 ms | 调度余量更大,但缓冲时间更长 |
注意:SDL2 的 desired.samples 是期望的回调缓冲帧数,不保证真实硬件周期,也不代表系统只保留一个缓冲周期。必须结合 obtained.samples 和端到端测量判断实际效果。
假设应用层 PCM 队列平均积压 120 ms、系统输出链路另外积压约 40 ms,则估计附加音频输出延迟约为 160 ms。此时单纯把回调帧数从 1024 改为 512,不能消除前面 120 ms 的队列积压。
视频点播可允许一定缓冲以抵抗短时调度波动;实时语音则通常更重视低延迟。队列越小不意味着体验越好,因为回调未能及时取得样本时会出现爆音、断续或静音。
播放异常怎样定位
调试时先确认实际设备参数,再观察 PCM 队列积压与欠载次数,不要一听到异常就直接扩大缓冲。
| 现象 | 优先检查 | 处理方式 |
|---|---|---|
| 声音速度或音调异常 | 实际采样率与 PCM 采样率 | 正确重采样 |
| 声音失真或噪声 | S16、浮点格式及字节序 | 转换为协商格式 |
| 左右声道错乱 | 交错顺序和声道数量 | 正确重排声道 |
| 间歇性卡顿 | PCM 队列是否耗尽 | 提前供数并降低回调负担 |
| 播放明显滞后 | 队列积压和系统输出延迟 | 控制队列上限并测量 |
可以每秒统计一次队列中的剩余 PCM 字节数,换算成待播放时间:
其中 为队列字节数, 为采样率, 为声道数, 为每个声道样本的字节数。例如 48 kHz、双声道 S16 队列积压 19200 字节,表示还有 100 ms 音频等待被消费。
这个公式仅适用于队列已经存放统一输出格式 PCM 的情况。若队列中还是压缩音频包,不能按 PCM 字节率换算时间。
还可以在解码线程记录入队时间,在回调线程记录消费进度,同时监控欠载次数。记录这些统计值时应通过低开销计数器传递到普通线程,避免在音频回调里频繁打印日志。
接入真实播放器时需要注意什么
把示例里的正弦波替换成解码器输出后,至少要处理三个额外边界。
- 格式协商:确认解码 PCM 的采样率、样本格式和声道布局。如果与设备不一致,先转换再入队。使用 FFmpeg 时可以通过 libswresample 完成重采样与样本格式转换。
- 暂停与跳转:暂停时明确是否保留队列;Seek 后必须清理旧位置的待播放 PCM,并处理设备中已经提交但尚未播出的数据,避免听到跳转前的残留声音。
- 音视频同步:通常依据已播放音频样本数和估算设备延迟维护音频时钟,视频根据音频时钟决定显示、等待或丢帧,不能把 PCM 解码完成时间直接当成扬声器实际播放时间。
音频时钟如果按已提交字节数推算,会领先于实际输出;如果忽略设备延迟,视频也可能长期存在固定偏移。较可靠的办法是将已提交样本时间减去尚未播放的缓冲时长,并结合设备提供的时间信息进行校正。
从一秒测试音开始,只要能够验证设备格式匹配、回调持续供数、队列欠载可观测以及尾部样本完整播放,就已经具备将解码 PCM 接入真实播放器的基础。