AI 内容创作 / 系统课时

用户打断与抢话处理

用户打断与抢话处理

用户重新开口时,系统必须在极短时间内停止旧回答,避免继续生成文本、合成语音或播放残留音频。本课将建立统一的打断事件、任务取消顺序和会话代际机制,使数字人能快速让出话权,并保证后续请求不会接收到旧任务结果。

学习目标

  • 识别用户抢话事件并触发统一打断流程
  • 正确取消对话生成、语音合成和媒体播放任务
  • 使用会话代际与幂等处理保持状态一致

打断链路与职责边界

抢话通常由 VAD 从“数字人说话中”检测到新的用户语音开始事件。这个事件不应直接修改多个模块的内部状态,而应先进入会话协调器,由协调器发布同一个 interrupt_id,再立即撤销旧代际的写入资格并停止本地播放、清空旧缓冲,随后并行取消上游。新一轮监听无需等待所有远端资源释放。

用户抢话后的多任务取消与状态迁移

播放器应最先停下,因为它直接影响用户感知;上游任务随后取消,以减少无效计算。各模块仍需支持独立超时和重复取消,避免某个服务无响应时阻塞整个打断流程。

状态一致性设计

仅调用 cancel() 并不足以保证正确性。已经发出的网络请求可能仍返回结果,因此每轮回答都应携带单调递增的 generation_id。消费者只接收当前代际的数据,旧代际的文本、音频块和渲染帧即使迟到,也必须被丢弃。

机制 解决的问题 验证方式
interrupt_id 同一次打断被重复处理 重复提交后状态只迁移一次
generation_id 旧任务结果污染新会话 旧代际消息被计数并丢弃
幂等取消 多模块重复调用取消接口 多次取消不抛出业务异常
超时兜底 上游任务无法及时结束 超时后强制断开并记录指标

会话状态建议限定为 LISTENING、THINKING、SPEAKING 和 INTERRUPTING。进入 INTERRUPTING 后先冻结旧代际写入,再执行资源释放,全部完成或达到超时阈值后切回 LISTENING。

可运行示例

下面的 Python 3.11 示例模拟对话生成、语音合成和媒体播放三个并发任务。用户抢话后,协调器先递增 generation_id,再向示例任务发取消信号。实际播放器还要同步停止设备队列;示例不控制真实播放器。生产中应限制清理等待时间,监控未结束任务,并给去重记录设置作用域和保留期。

python
import asyncio
from dataclasses import dataclass, field
from typing import List

async def stream_task(name: str, items: List[str], delay: float) -> None:
    try:
        for item in items:
            await asyncio.sleep(delay)
            print(f"{name}: {item}")
    except asyncio.CancelledError:
        print(f"{name}: cancelled")
        raise

@dataclass
class SessionCoordinator:
    generation_id: int = 1
    state: str = "SPEAKING"
    tasks: List[asyncio.Task] = field(default_factory=list)
    seen_interrupts: set[str] = field(default_factory=set)

    def accepts(self, generation_id: int) -> bool:
        return generation_id == self.generation_id and self.state in ("THINKING", "SPEAKING")

    async def interrupt(self, interrupt_id: str, generation_id: int) -> None:
        if interrupt_id in self.seen_interrupts or not self.accepts(generation_id):
            return
        self.seen_interrupts.add(interrupt_id)
        self.generation_id += 1
        self.state = "INTERRUPTING"
        print(f"INTERRUPT: {interrupt_id}")

        cancelled_tasks = list(reversed(self.tasks))  # 本例按 LLM、TTS、播放器登记
        self.tasks.clear()
        for task in cancelled_tasks:
            task.cancel()
        self.state = "LISTENING"
        outcomes = await asyncio.gather(*cancelled_tasks, return_exceptions=True)
        for outcome in outcomes:
            if isinstance(outcome, Exception):
                print(f"cleanup failed: {type(outcome).__name__}")
        print(f"state: {self.state}, generation_id: {self.generation_id}")

async def main() -> None:
    coordinator = SessionCoordinator()
    coordinator.tasks = [
        asyncio.create_task(stream_task("LLM", ["token-1", "token-2"], 0.10)),
        asyncio.create_task(stream_task("TTS", ["chunk-1", "chunk-2"], 0.12)),
        asyncio.create_task(stream_task("PLAYER", ["frame-1", "frame-2"], 0.14)),
    ]

    await asyncio.sleep(0.15)
    await coordinator.interrupt("interrupt-001", generation_id=1)
    await coordinator.interrupt("interrupt-001", generation_id=1)
    assert not coordinator.accepts(1)

if __name__ == "__main__":
    asyncio.run(main())

将代码保存为 barge_in_demo.py,然后运行:

bash
python barge_in_demo.py

预期输出:

text
LLM: token-1
TTS: chunk-1
PLAYER: frame-1
INTERRUPT: interrupt-001
PLAYER: cancelled
TTS: cancelled
LLM: cancelled
state: LISTENING, generation_id: 2

验证与常见故障

验证时应同时观察“用户开口到播放器静音”的感知延迟和“旧任务完全结束”的资源回收延迟。前者决定交互自然度,后者决定系统成本,两者需要分别记录,不能只看任务最终是否取消。

常见故障是播放器已停止,但旧 TTS 音频仍写入缓冲区,导致恢复播放后出现残音。修复方式是在缓冲区记录 generation_id,打断时清空当前队列,并在写入前再次校验代际。另一个故障是取消回调重复触发状态迁移,应通过 interrupt_id 去重并让取消接口保持幂等。

本课总结

  • 抢话处理必须由统一协调器编排,而不是让各模块自行修改会话状态
  • generation_id 用于过滤迟到结果,幂等取消用于承受重复事件
  • 播放静音延迟和任务回收延迟应分别监控

下一课预告

下一课将学习“端到端延迟分析”,把采集、识别、对话、合成、驱动、编码和传输拆成可观测阶段,并据此确定真正的性能瓶颈。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用户打断与抢话处理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通