音频开发 / 系统课时

实现边合成边播放的流式输出

实现边合成边播放的流式输出

这一节把“等整段 TTS 完成再播放”改造成真正的流式链路:音频块一到就进入有界缓冲,达到启动水位后立即播放,并用背压和低水位策略处理合成速度抖动。完成后,你能把首包等待压低,同时避免因为网络或合成瞬时变慢而频繁卡顿。

学习目标

  • 理解流式 TTS 中生产者、播放缓冲和消费者之间的速度关系。
  • 实现“先攒少量再开播”的启动水位,并用有界队列提供背压。
  • 能区分 PCM 与压缩音频的处理方式,并定位常见的爆音、断流和延迟问题。

流式播放真正解决什么

非流式方案通常是“提交文本 → 等待整段音频 → 下载完整文件 → 播放”。它实现简单,但首句很长时,用户必须等待全部合成结束才听到声音。流式方案把合成结果切成连续音频块,接收端不再等待完整文件,而是边收、边缓冲、边播放。

这里有两个不同指标:首包时间表示 TTS 服务何时返回第一块音频,首声时间表示用户何时真正听到声音。播放器如果为了“绝不卡顿”预缓冲两三秒,即使首包很快,首声仍然很慢;反过来完全不缓冲,网络稍有抖动就会断续。

流式 TTS 的生产、缓冲与播放链路

一个可用的策略不是“缓存越多越好”,而是只缓存足以吸收短时抖动的数据。例如 24 kHz、单声道、16 bit PCM 每毫秒约产生 48 字节,160 ms 启动缓冲约为 7680 字节。启动水位越高越稳,但首声时间也越长,需要在真实网络环境中测量后调整。

用有界队列连接生产与消费

生产者负责从 TTS SDK、HTTP 流或 WebSocket 接收音频块;消费者负责按真实播放速度取走数据。两者之间使用有界队列比无限列表更安全:当网络和合成长时间快于播放速度时,队列满会自然形成背压,避免内存持续增长。

下面的示例使用 sounddevice 打开原始 PCM 输出流,并用本地生成的正弦波模拟 TTS 连续返回的 PCM 块。这样可以先独立验证播放缓冲逻辑,再把 synthesize() 替换为实际 TTS SDK 的流式读取代码。运行前需要安装 Python 包 sounddevice。

python
import asyncio
import math
import random
import struct

import sounddevice as sd

SAMPLE_RATE = 24_000
CHANNELS = 1
CHUNK_MS = 40
START_BUFFER_MS = 160
CHUNK_SAMPLES = SAMPLE_RATE * CHUNK_MS // 1000
START_CHUNKS = START_BUFFER_MS // CHUNK_MS
END = object()

def make_pcm_chunk(chunk_index: int) -> bytes:
    # 生成 440 Hz、16 bit 单声道 PCM,模拟 TTS 返回的一个音频块。
    start = chunk_index * CHUNK_SAMPLES
    samples = []
    for i in range(CHUNK_SAMPLES):
        value = int(8000 * math.sin(2 * math.pi * 440 * (start + i) / SAMPLE_RATE))
        samples.append(struct.pack("<h", value))
    return b"".join(samples)

async def synthesize(queue: asyncio.Queue) -> None:
    for index in range(50):
        # 平均生产速度略快于播放速度,同时保留抖动。
        await asyncio.sleep(random.uniform(0.015, 0.050))
        await queue.put(make_pcm_chunk(index))
    await queue.put(END)

async def play(queue: asyncio.Queue) -> None:
    buffered = []
    while len(buffered) < START_CHUNKS:
        item = await queue.get()
        if item is END:
            break
        buffered.append(item)

    print("开始播放")
    with sd.RawOutputStream(
        samplerate=SAMPLE_RATE,
        channels=CHANNELS,
        dtype="int16",
    ) as stream:
        for chunk in buffered:
            stream.write(chunk)

        while True:
            item = await queue.get()
            if item is END:
                break
            stream.write(item)
    print("播放结束")

async def main() -> None:
    queue = asyncio.Queue(maxsize=20)
    await asyncio.gather(synthesize(queue), play(queue))

if __name__ == "__main__":
    asyncio.run(main())

预期输出如下,同时扬声器会播放一小段连续音调:

text
开始播放
播放结束

这个示例里的队列既是缓冲区,也是背压边界。真实项目还应记录队列当前时长而不是只看“块数量”,因为 TTS 返回块的大小可能不固定。更稳妥的实现会按采样率、位深、声道数换算为可播放毫秒数,再判断是否达到启动、低水位或高水位。

处理格式和速度不一致

最容易踩坑的是把“收到字节”直接等价为“可以播放”。如果服务返回的是裸 PCM,采样率、位深、声道数和字节序必须与播放设备配置一致;如果返回 MP3、AAC、Opus 等压缩格式,则必须先经过支持流式输入的解码器,不能把压缩字节直接写进 PCM 输出流。

还要区分短时抖动和持续速度不足。偶尔低于低水位,可以暂停几十到几百毫秒补缓冲;如果长期“生产速度 < 消费速度”,再大的启动缓冲也只能延迟卡顿发生,此时应减少合成复杂度、降低输出码率、切换更近的服务节点,或调整播放策略。

验证首声时间和抗抖动能力

验收时不要只听“能不能播”,至少记录请求发出时间、第一音频块到达时间、播放器开始时间、缓冲最低值和重新缓冲次数。首声时间可以拆成“请求到首包 + 首包到达到启动水位”,这样才能判断延迟究竟来自 TTS、网络还是播放器自身。

测试时可人为给生产者增加随机延迟,再观察缓冲是否能吸收抖动;随后逐步降低启动水位,直到首声时间和卡顿率达到可接受平衡。生产环境通常还需要在用户开始说话、切换页面或取消朗读时立即停止生产者并清空旧缓冲,避免上一段音频继续播放。

真正稳定的流式播放并不是“收到一块就立即写声卡”,而是用少量预缓冲换取抗抖动能力,用有界队列限制内存,并把格式转换、背压和取消逻辑放在清晰的链路边界上。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实现边合成边播放的流式输出

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通