编码与格式 / 系统课时

将 PCM 音频写入播放设备

将 PCM 音频写入播放设备

播放器解码出 PCM 音频后,还需要将样本转换为设备支持的格式,持续送入音频缓冲区,才能真正听到声音。本篇使用 SDL2 建立最小音频播放链路,理解采样格式、回调供数、缓冲管理和播放延迟,并掌握判断声音卡顿及延迟来源的方法。

学习目标

  • 理解 PCM 采样率、声道数、样本格式与设备播放参数的关系。
  • 使用 SDL2 音频回调把 PCM 样本送入系统输出设备。
  • 估算音频缓冲延迟,识别缺样、格式错误和缓冲过大的问题。

PCM 为什么不能直接随意写入声卡

PCM 是按时间排列的数字音频样本,但样本字节本身不携带完整的播放约定。输出设备必须知道采样率、声道数和采样格式,才能正确解释这些字节。

以 48 kHz、双声道、16 位有符号整数 PCM 为例:

参数 示例取值 含义
采样率 48000 Hz 每个声道每秒 48000 个样本
声道数 2 左右双声道
样本格式 S16 每个样本占 2 字节
声道布局 交错排列 每帧依次保存左、右样本
每帧字节数 4 B 2 声道 × 2 字节
每秒数据量 192000 B 48000 × 4

这里的音频帧指同一采样时刻所有声道的样本集合,不是 AAC 音频帧,也不是视频帧。1024 个这样的 PCM 帧包含 4096 字节,播放时间约 21.33 ms。

如果把 44100 Hz 数据当作 48000 Hz 播放,声音会变快、音调升高;如果把单声道数据当作交错双声道播放,声道解释和播放时长都会出错。

播放器应先取得解码器输出格式,再协商实际设备格式。不一致时使用音频重采样或格式转换,不能只修改采样率字段而不转换样本。

音频输出链路如何工作

实际播放器通常经历解复用、解码、PCM 队列、格式转换、设备缓冲和系统混音等阶段。SDL2 可以封装平台音频 API,但音频设备仍按自己的时钟持续消耗样本。

PCM 音频从解码器进入系统音频设备的链路

理解这条链路时,需要区分两个时钟:

  • 解码线程根据媒体数据生产 PCM,可以短时间快于实时播放。
  • 输出设备依据音频硬件时钟消耗 PCM,正常播放时平均消耗速度由采样率决定。

实际工程通常把解码线程与音频回调线程隔离:解码线程提前向有界 PCM 队列填充数据,回调线程只读取已经准备好的样本。队列容量可以先设置为 100~200 ms,再根据设备和应用场景测量调整。

当队列为空时仍必须填满设备要求的输出缓冲。对于有符号 16 位 PCM,可以使用零值表示静音;不能把未初始化内存交给设备。对于无符号 8 位 PCM,静音值通常是 128,因此应依据实际样本格式填充静音。

使用 SDL2 回调播放 PCM

下面用 C 语言和 SDL2 2.x 播放一秒钟的 440 Hz 正弦波。示例没有引入解码器,直接生成 PCM,便于单独验证从内存到扬声器的输出过程。

环境使用安装了 SDL2 开发文件的 Linux 系统,例如 Ubuntu。先安装依赖:

bash
sudo apt update
sudo apt install -y build-essential libsdl2-dev

预期结果:安装成功后执行 sdl2-config --version 会输出已安装的 SDL2 版本号,具体版本取决于系统软件源。

程序使用 SDL_OpenAudioDevice 打开播放设备,要求 48000 Hz、双声道和 AUDIO_S16SYS 格式。设备可能返回不同的实际参数,因此示例不允许静默修改格式;若无法获得完全匹配的配置,直接报错,避免错误解释 PCM 数据。

c
#include <SDL.h>
#include <math.h>
#include <stdint.h>
#include <stdio.h>
#include <string.h>

#define RATE 48000
#define CHANNELS 2
#define FRAMES 48000
#define PI 3.14159265358979323846

typedef struct {
    int16_t pcm[FRAMES * CHANNELS];
    size_t offset;
    size_t total;
} AudioData;

static void audio_callback(void *userdata, Uint8 *stream, int len) {
    AudioData *data = (AudioData *)userdata;
    size_t remaining = data->total - data->offset;
    size_t requested = (size_t)len;
    size_t count = remaining < requested ? remaining : requested;

    // S16 有符号整数的零值为静音,先填满设备请求的区域。
    memset(stream, 0, requested);
    if (count > 0) {
        memcpy(stream, (const Uint8 *)data->pcm + data->offset, count);
        data->offset += count;
    }
}

int main(void) {
    AudioData data = {0};
    data.total = sizeof(data.pcm);

    // 每个时刻生成一对相同样本,分别写入左右声道。
    for (int i = 0; i < FRAMES; ++i) {
        double phase = 2.0 * PI * 440.0 * i / RATE;
        int16_t sample = (int16_t)(sin(phase) * 10000.0);
        data.pcm[i * 2] = sample;
        data.pcm[i * 2 + 1] = sample;
    }

    if (SDL_Init(SDL_INIT_AUDIO) != 0) {
        fprintf(stderr, "SDL_Init: %s\n", SDL_GetError());
        return 1;
    }

    SDL_AudioSpec desired = {0};
    SDL_AudioSpec obtained = {0};
    desired.freq = RATE;
    desired.format = AUDIO_S16SYS;
    desired.channels = CHANNELS;
    desired.samples = 1024;
    desired.callback = audio_callback;
    desired.userdata = &data;

    SDL_AudioDeviceID device = SDL_OpenAudioDevice(
        NULL, 0, &desired, &obtained, 0);
    if (device == 0) {
        fprintf(stderr, "OpenAudioDevice: %s\n", SDL_GetError());
        SDL_Quit();
        return 1;
    }

    printf("rate=%d channels=%u samples=%u\n",
           obtained.freq, obtained.channels, obtained.samples);

    // 解除暂停后,SDL 音频线程开始按需调用回调。
    SDL_PauseAudioDevice(device, 0);
    SDL_Delay(1300);
    SDL_CloseAudioDevice(device);
    SDL_Quit();
    return 0;
}

保存为 play_pcm.c,编译并运行:

bash
gcc play_pcm.c -o play_pcm $(sdl2-config --cflags --libs) -lm
./play_pcm

预期输出(典型协商结果):

text
rate=48000 channels=2 samples=1024

扬声器应播放约一秒的 440 Hz 音调,随后恢复安静。设备返回的 samples 可能不是 1024,打印结果以实际设备为准;音频播放也受系统音量、设备连接和音频服务状态影响。

这里 SDL_Delay(1300) 只是为了让示例有足够时间播放尾部数据,不是生产环境的播放完成判定。实际播放器应基于已消费帧数、队列状态和输出设备剩余缓冲来管理结束行为。

缓冲区大小怎样影响播放延迟

输出回调通常一次请求若干 PCM 帧。对于 48000 Hz 设备,请求 1024 帧对应的音频时长为:

T=102448000×1000≈21.33 msT=\frac{1024}{48000}\times1000\approx21.33\text{ ms}

这个值是单次缓冲覆盖的播放时间,不等于用户听到声音的端到端延迟。实际延迟还包括解码队列、软件混音、操作系统音频服务及硬件缓冲。

回调帧数 48 kHz 下的音频时长 主要取舍
256 5.33 ms 供数频繁,调度要求更高
512 10.67 ms 延迟与稳定性的折中
1024 21.33 ms 较容易容忍短暂调度波动
2048 42.67 ms 调度余量更大,但缓冲时间更长

注意:SDL2 的 desired.samples 是期望的回调缓冲帧数,不保证真实硬件周期,也不代表系统只保留一个缓冲周期。必须结合 obtained.samples 和端到端测量判断实际效果。

假设应用层 PCM 队列平均积压 120 ms、系统输出链路另外积压约 40 ms,则估计附加音频输出延迟约为 160 ms。此时单纯把回调帧数从 1024 改为 512,不能消除前面 120 ms 的队列积压。

视频点播可允许一定缓冲以抵抗短时调度波动;实时语音则通常更重视低延迟。队列越小不意味着体验越好,因为回调未能及时取得样本时会出现爆音、断续或静音。

播放异常怎样定位

调试时先确认实际设备参数,再观察 PCM 队列积压与欠载次数,不要一听到异常就直接扩大缓冲。

现象 优先检查 处理方式
声音速度或音调异常 实际采样率与 PCM 采样率 正确重采样
声音失真或噪声 S16、浮点格式及字节序 转换为协商格式
左右声道错乱 交错顺序和声道数量 正确重排声道
间歇性卡顿 PCM 队列是否耗尽 提前供数并降低回调负担
播放明显滞后 队列积压和系统输出延迟 控制队列上限并测量

可以每秒统计一次队列中的剩余 PCM 字节数,换算成待播放时间:

Tqueue=Bqueuefs×C×S×1000T_{queue}=\frac{B_{queue}}{f_s\times C\times S}\times1000

其中 BqueueB_{queue} 为队列字节数,fsf_s 为采样率,CC 为声道数,SS 为每个声道样本的字节数。例如 48 kHz、双声道 S16 队列积压 19200 字节,表示还有 100 ms 音频等待被消费。

这个公式仅适用于队列已经存放统一输出格式 PCM 的情况。若队列中还是压缩音频包,不能按 PCM 字节率换算时间。

还可以在解码线程记录入队时间,在回调线程记录消费进度,同时监控欠载次数。记录这些统计值时应通过低开销计数器传递到普通线程,避免在音频回调里频繁打印日志。

接入真实播放器时需要注意什么

把示例里的正弦波替换成解码器输出后,至少要处理三个额外边界。

  1. 格式协商:确认解码 PCM 的采样率、样本格式和声道布局。如果与设备不一致,先转换再入队。使用 FFmpeg 时可以通过 libswresample 完成重采样与样本格式转换。
  2. 暂停与跳转:暂停时明确是否保留队列;Seek 后必须清理旧位置的待播放 PCM,并处理设备中已经提交但尚未播出的数据,避免听到跳转前的残留声音。
  3. 音视频同步:通常依据已播放音频样本数和估算设备延迟维护音频时钟,视频根据音频时钟决定显示、等待或丢帧,不能把 PCM 解码完成时间直接当成扬声器实际播放时间。

音频时钟如果按已提交字节数推算,会领先于实际输出;如果忽略设备延迟,视频也可能长期存在固定偏移。较可靠的办法是将已提交样本时间减去尚未播放的缓冲时长,并结合设备提供的时间信息进行校正。

从一秒测试音开始,只要能够验证设备格式匹配、回调持续供数、队列欠载可观测以及尾部样本完整播放,就已经具备将解码 PCM 接入真实播放器的基础。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

将 PCM 音频写入播放设备

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通