音频开发 / 系统课时

设计半双工语音对话状态机

设计半双工语音对话状态机

半双工语音对话的难点不是把识别和合成简单串起来,而是保证同一时刻只有一个阶段占用关键资源。本课用显式状态机约束麦克风、识别请求、模型生成与播放器,让打断、超时和异常都有确定的去向。

学习目标

  • 能把等待、录音、识别、生成和播报建模为互斥状态
  • 能为正常事件、打断事件和异常事件定义合法转移
  • 能用统一状态入口控制麦克风与播放器,避免异步任务争抢资源

先确定状态再写异步回调

一个最小的半双工会话可以拆成 WAITING、RECORDING、RECOGNIZING、GENERATING、SPEAKING 五个正常状态,再增加 ERROR 作为故障收敛点。核心约束是:状态决定当前允许做什么,不允许各个异步回调自行决定下一步。

例如处于 RECORDING 时只能采集用户语音;进入 RECOGNIZING 前必须停止录音。处于 SPEAKING 时播放器独占输出链路;如果用户触发打断,应先取消播报,再进入新的录音周期,而不是让播放器和麦克风继续并行工作。

半双工语音对话状态机

用事件表固定合法转移

状态机最好先写成事件表,再落到代码。这样可以直接检查某个状态收到某个事件时应该执行什么动作,避免大量回调之间出现隐式跳转。

当前状态 事件 动作 下一状态
WAITING START 打开麦克风 RECORDING
RECORDING ENDPOINT 关闭麦克风并提交音频 RECOGNIZING
RECOGNIZING ASR_OK 保存文本并启动生成 GENERATING
GENERATING LLM_OK 启动 TTS 与播放 SPEAKING
SPEAKING PLAY_DONE 释放播放器 WAITING
SPEAKING INTERRUPT 先停播,再开麦 RECORDING
任意工作状态 FAIL 取消当前任务并清理资源 ERROR

这里最重要的是把动作和下一状态同时定义。若只修改状态而不做资源清理,旧异步任务仍可能稍后回调,导致已经开始新一轮录音时,上一轮 TTS 又突然开始播放。

用一个入口串行处理事件

下面用 Python 模拟最小状态机。示例没有接真实 ASR、LLM 和 TTS,而是用事件序列验证转移规则;所有状态变化都经过 dispatch,外部任务不能直接修改 state。

python
from enum import Enum, auto


class State(Enum):
    WAITING = auto()
    RECORDING = auto()
    RECOGNIZING = auto()
    GENERATING = auto()
    SPEAKING = auto()
    ERROR = auto()


class DialogMachine:
    def __init__(self):
        self.state = State.WAITING

    def dispatch(self, event: str) -> None:
        transitions = {
            (State.WAITING, 'START'): State.RECORDING,
            (State.RECORDING, 'ENDPOINT'): State.RECOGNIZING,
            (State.RECOGNIZING, 'ASR_OK'): State.GENERATING,
            (State.GENERATING, 'LLM_OK'): State.SPEAKING,
            (State.SPEAKING, 'PLAY_DONE'): State.WAITING,
            # 打断时应先停止播放器,再允许新一轮录音。
            (State.SPEAKING, 'INTERRUPT'): State.RECORDING,
        }

        if event == 'FAIL' and self.state is not State.WAITING:
            self.state = State.ERROR
        elif self.state is State.ERROR and event == 'RESET':
            self.state = State.WAITING
        else:
            key = (self.state, event)
            if key not in transitions:
                raise ValueError(f'illegal transition: {self.state.name} + {event}')
            self.state = transitions[key]

        print(self.state.name)


if __name__ == '__main__':
    machine = DialogMachine()
    for event in ['START', 'ENDPOINT', 'ASR_OK', 'LLM_OK', 'INTERRUPT']:
        machine.dispatch(event)

预期输出

text
RECORDING
RECOGNIZING
GENERATING
SPEAKING
RECORDING

真实项目中,dispatch 除了改变状态,还应调用对应的资源动作。例如进入 RECORDING 时创建录音会话,离开该状态时停止并关闭麦克风;ASR、生成或 TTS 请求则保存任务句柄,在状态离开时取消仍未完成的旧任务。

防止迟到回调污染新会话

异步链路最常见的问题是旧请求晚回来。例如用户在第一次播报时打断并开始第二次录音,但第一次生成任务随后才完成,如果回调没有检查会话身份,它仍可能触发旧内容播放。

解决方式是给每轮会话分配单调递增的 turnId。启动 ASR、生成和 TTS 时携带当前 turnId,回调返回后先比较它是否仍等于当前轮次;不一致就直接丢弃结果。状态机负责判断当前允许做什么,turnId 则判断返回结果是否仍属于当前会话。

当状态、事件、资源动作和会话身份都被集中管理后,半双工对话就从一组互相追赶的异步回调变成可以验证的有限状态系统;后续增加超时、重试或打断策略时,也只需要扩展明确的转移规则。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计半双工语音对话状态机

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通