AI 内容创作 / 系统课时
用户打断与抢话处理
用户打断与抢话处理
用户重新开口时,系统必须在极短时间内停止旧回答,避免继续生成文本、合成语音或播放残留音频。本课将建立统一的打断事件、任务取消顺序和会话代际机制,使数字人能快速让出话权,并保证后续请求不会接收到旧任务结果。
学习目标
- 识别用户抢话事件并触发统一打断流程
- 正确取消对话生成、语音合成和媒体播放任务
- 使用会话代际与幂等处理保持状态一致
打断链路与职责边界
抢话通常由 VAD 从“数字人说话中”检测到新的用户语音开始事件。这个事件不应直接修改多个模块的内部状态,而应先进入会话协调器,由协调器发布同一个 interrupt_id,再立即撤销旧代际的写入资格并停止本地播放、清空旧缓冲,随后并行取消上游。新一轮监听无需等待所有远端资源释放。

播放器应最先停下,因为它直接影响用户感知;上游任务随后取消,以减少无效计算。各模块仍需支持独立超时和重复取消,避免某个服务无响应时阻塞整个打断流程。
状态一致性设计
仅调用 cancel() 并不足以保证正确性。已经发出的网络请求可能仍返回结果,因此每轮回答都应携带单调递增的 generation_id。消费者只接收当前代际的数据,旧代际的文本、音频块和渲染帧即使迟到,也必须被丢弃。
| 机制 | 解决的问题 | 验证方式 |
|---|---|---|
interrupt_id |
同一次打断被重复处理 | 重复提交后状态只迁移一次 |
generation_id |
旧任务结果污染新会话 | 旧代际消息被计数并丢弃 |
| 幂等取消 | 多模块重复调用取消接口 | 多次取消不抛出业务异常 |
| 超时兜底 | 上游任务无法及时结束 | 超时后强制断开并记录指标 |
会话状态建议限定为 LISTENING、THINKING、SPEAKING 和 INTERRUPTING。进入 INTERRUPTING 后先冻结旧代际写入,再执行资源释放,全部完成或达到超时阈值后切回 LISTENING。
可运行示例
下面的 Python 3.11 示例模拟对话生成、语音合成和媒体播放三个并发任务。用户抢话后,协调器先递增 generation_id,再向示例任务发取消信号。实际播放器还要同步停止设备队列;示例不控制真实播放器。生产中应限制清理等待时间,监控未结束任务,并给去重记录设置作用域和保留期。
import asyncio
from dataclasses import dataclass, field
from typing import List
async def stream_task(name: str, items: List[str], delay: float) -> None:
try:
for item in items:
await asyncio.sleep(delay)
print(f"{name}: {item}")
except asyncio.CancelledError:
print(f"{name}: cancelled")
raise
@dataclass
class SessionCoordinator:
generation_id: int = 1
state: str = "SPEAKING"
tasks: List[asyncio.Task] = field(default_factory=list)
seen_interrupts: set[str] = field(default_factory=set)
def accepts(self, generation_id: int) -> bool:
return generation_id == self.generation_id and self.state in ("THINKING", "SPEAKING")
async def interrupt(self, interrupt_id: str, generation_id: int) -> None:
if interrupt_id in self.seen_interrupts or not self.accepts(generation_id):
return
self.seen_interrupts.add(interrupt_id)
self.generation_id += 1
self.state = "INTERRUPTING"
print(f"INTERRUPT: {interrupt_id}")
cancelled_tasks = list(reversed(self.tasks)) # 本例按 LLM、TTS、播放器登记
self.tasks.clear()
for task in cancelled_tasks:
task.cancel()
self.state = "LISTENING"
outcomes = await asyncio.gather(*cancelled_tasks, return_exceptions=True)
for outcome in outcomes:
if isinstance(outcome, Exception):
print(f"cleanup failed: {type(outcome).__name__}")
print(f"state: {self.state}, generation_id: {self.generation_id}")
async def main() -> None:
coordinator = SessionCoordinator()
coordinator.tasks = [
asyncio.create_task(stream_task("LLM", ["token-1", "token-2"], 0.10)),
asyncio.create_task(stream_task("TTS", ["chunk-1", "chunk-2"], 0.12)),
asyncio.create_task(stream_task("PLAYER", ["frame-1", "frame-2"], 0.14)),
]
await asyncio.sleep(0.15)
await coordinator.interrupt("interrupt-001", generation_id=1)
await coordinator.interrupt("interrupt-001", generation_id=1)
assert not coordinator.accepts(1)
if __name__ == "__main__":
asyncio.run(main())将代码保存为 barge_in_demo.py,然后运行:
python barge_in_demo.py预期输出:
LLM: token-1
TTS: chunk-1
PLAYER: frame-1
INTERRUPT: interrupt-001
PLAYER: cancelled
TTS: cancelled
LLM: cancelled
state: LISTENING, generation_id: 2验证与常见故障
验证时应同时观察“用户开口到播放器静音”的感知延迟和“旧任务完全结束”的资源回收延迟。前者决定交互自然度,后者决定系统成本,两者需要分别记录,不能只看任务最终是否取消。
常见故障是播放器已停止,但旧 TTS 音频仍写入缓冲区,导致恢复播放后出现残音。修复方式是在缓冲区记录 generation_id,打断时清空当前队列,并在写入前再次校验代际。另一个故障是取消回调重复触发状态迁移,应通过 interrupt_id 去重并让取消接口保持幂等。
本课总结
- 抢话处理必须由统一协调器编排,而不是让各模块自行修改会话状态
generation_id用于过滤迟到结果,幂等取消用于承受重复事件- 播放静音延迟和任务回收延迟应分别监控
下一课预告
下一课将学习“端到端延迟分析”,把采集、识别、对话、合成、驱动、编码和传输拆成可观测阶段,并据此确定真正的性能瓶颈。