音频开发 / 系统课时

完成实时语音助手综合项目

完成实时语音助手综合项目

本节把麦克风输入、实时 ASR、LLM 回复、流式 TTS、用户打断和会话恢复串成一条完整链路。目标不是再做一个只能演示的 Demo,而是建立稳定的会话状态、取消机制与质量指标,让语音助手在并发、弱网和连续打断下仍能正确工作。

学习目标

  • 设计实时语音助手的端到端数据流与会话状态。
  • 实现可取消的 ASR、LLM、TTS 编排并正确处理用户打断。
  • 用延迟、错误率、恢复成功率和并发压测验证生产可用性。

最小系统边界

完整链路至少包含客户端麦克风采集、VAD、WebSocket 会话层、流式 ASR、LLM、流式 TTS、播放队列和会话存储。数据并非单向流动:音频持续上行,转写和合成音频持续下行,而“用户重新开始说话”还要作为控制信号反向取消当前回答。

实时语音助手端到端架构

客户端需要维护会话标识和当前回答代次 generation。服务端则把每次回答视为一个可取消任务:新一轮用户语音成立后,旧回答立即失效;即使旧 TTS 音频稍后才从网络到达,也不能继续播放。

会话与打断状态

服务端可以把主要状态压缩为 LISTENING、THINKING、SPEAKING 和 RECOVERING。这些状态不是为了展示 UI,而是约束并发行为。例如在 SPEAKING 状态检测到新的有效用户语音时,应先让当前回答失效、取消正在执行的 LLM/TTS 任务,再重新进入监听流程。

恢复会话时不要尝试续播已经生成一半的旧音频。更稳定的策略是恢复最近一次已提交的用户消息、已经完成的助手消息和当前 generation,然后等待新的用户输入。这样可以避免断线重连后重复播放半句话或继续播放过期回答。

可运行的编排骨架

下面示例用异步生成器模拟 LLM 与流式 TTS,重点验证“新输入能立即取消旧回答”。它不依赖外部服务,可以直接运行;真实项目只需把模拟 provider 换成 ASR、LLM 和 TTS SDK 的流式接口。

python
import asyncio
from dataclasses import dataclass

@dataclass
class Session:
    generation: int = 0
    current_task: asyncio.Task | None = None

async def fake_llm(text: str):
    for token in ["收到", ",", "你说的是", ":", text]:
        await asyncio.sleep(0.08)
        yield token

async def fake_tts(text_stream):
    async for token in text_stream:
        await asyncio.sleep(0.05)
        yield f"AUDIO({token})"

async def answer(session: Session, text: str, generation: int):
    async for audio_chunk in fake_tts(fake_llm(text)):
        if generation != session.generation:
            print("drop_stale_audio")
            return
        print(audio_chunk)

async def submit(session: Session, text: str):
    session.generation += 1
    generation = session.generation

    if session.current_task and not session.current_task.done():
        session.current_task.cancel()
        try:
            await session.current_task
        except asyncio.CancelledError:
            print("previous_answer_cancelled")

    session.current_task = asyncio.create_task(
        answer(session, text, generation)
    )

async def main():
    session = Session()
    await submit(session, "第一句话")
    await asyncio.sleep(0.18)
    await submit(session, "打断后的新问题")
    await session.current_task

if __name__ == "__main__":
    asyncio.run(main())

预期输出中会先出现旧回答的少量音频,然后明确取消旧任务,最终只继续输出新问题对应的音频:

text
AUDIO(收到)
previous_answer_cancelled
AUDIO(收到)
AUDIO(,)
AUDIO(你说的是)
AUDIO(:)
AUDIO(打断后的新问题)

真实系统中客户端也应执行代次检查。即使服务端已经取消任务,网络里仍可能存在旧音频包;客户端收到 generation 小于当前值的数据时必须直接丢弃,不能重新放入播放队列。

接入实时语音链路

接入真实 ASR 后,麦克风音频应持续发送,ASR 可以产生 partial 与 final 两类结果。partial 用于界面即时反馈,只有 final 或明确端点检测后的稳定文本才进入 LLM,避免一句话尚未说完就连续触发多次回答。

LLM token 可以边生成边送给 TTS,但通常需要按短句或标点做缓冲。逐 token 调用 TTS 会产生大量小请求,并造成语音节奏破碎。TTS 首包返回后立即下发客户端,不必等待整段语音合成完成。

WebSocket 控制消息至少要能识别 sessionId、generation 和 type。常见事件包括 asr.partial、asr.final、assistant.text.delta、tts.audio 和 error。若音频使用二进制帧传输,也必须能够关联到对应会话和回答代次。

压测与生产验收

实时语音压测不能只看 QPS。至少应分别记录首个 ASR partial 延迟、ASR final 延迟、LLM 首 token 延迟、TTS 首音频包延迟,以及“用户说完到助手开口”的端到端延迟。各阶段单独打点后,总延迟升高时才能知道瓶颈属于识别、推理还是合成。

验收场景应覆盖正常对话、连续打断、弱网重连、上游超时和并发会话。重连后必须能恢复上下文但不能续播过期音频;任一上游超时都应释放任务和播放队列;压力升高时,应重点观察 P95 延迟、错误率、活跃会话数、取消任务数和会话恢复成功率。

这个项目真正完成的标志,不是“能听也能说”,而是每段音频都有明确归属,每个回答都能被取消,每次断线都有确定的恢复语义,并且这些行为都能通过监控和压测验证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

完成实时语音助手综合项目

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通