AI 内容创作 / 系统课时
异步任务与流式编排
异步任务与流式编排
实时数字人的各模块速度并不一致:音频持续到达,识别分段输出,对话模型可能延迟,语音合成又会产生多个音频块。本课使用有界异步队列、生产者消费者和取消边界组织流水线,并演示用户打断时如何停止下游任务。
学习目标
- 使用异步队列解耦采集、识别、对话和语音合成
- 理解背压、哨兵值与任务生命周期的作用
- 在用户打断时取消当前任务并安全回收等待中的协程
流式流水线的阻塞来源
若采集函数直接等待识别,识别再同步等待对话和语音合成,任何一步变慢都会阻塞上游,最终造成录音丢帧或播放卡顿。异步编排的核心不是“同时启动更多任务”,而是为每个阶段定义输入队列、输出队列、容量上限和结束条件。
有界队列通过 maxsize 形成背压:下游处理不过来时,上游的 put() 会等待,系统不会无限堆积内存。结束信号可以使用专用对象或消息类型,避免把正常数据与结束状态混淆。每次用户交互还需要独立的任务作用域,便于整体取消。
队列、背压与取消边界

取消应从交互作用域向下游传播,而不是关闭整个服务。用户插话后,当前对话生成、语音合成和播放器需要停止,但麦克风采集与下一轮识别仍可继续。资源清理优先放在 finally;若捕获 CancelledError 做额外处理,应在清理后重新抛出。取消是协作式的,已发出的外部动作需要独立核对状态。
| 机制 | 解决的问题 | 边界 |
|---|---|---|
| 有界队列 | 防止无限缓存 | 容量过小会增加等待,过大则提高延迟 |
| 生产者消费者 | 解耦阶段速度 | 每个消费者必须定义退出条件 |
| 哨兵值 | 通知流已结束 | 不应与合法业务数据冲突 |
| 任务取消 | 响应用户打断 | 只取消当前交互作用域 |
TaskGroup 回收 |
退出作用域前等待所有子任务 | 普通阶段异常会取消同组任务并传播 |
完整可运行示例
下面的 Python 3.11 示例执行两轮交互。第一轮完整通过音频、识别、对话和语音合成;第二轮在对话任务开始后模拟用户插话,并取消对话与下游语音任务。
import asyncio
from typing import Optional
SENTINEL: Optional[str] = None
async def audio_producer(
turn_id: str,
frames: list[str],
audio_queue: asyncio.Queue[Optional[str]],
) -> None:
for frame in frames:
await audio_queue.put(frame)
await audio_queue.put(SENTINEL)
async def asr_worker(
turn_id: str,
audio_queue: asyncio.Queue[Optional[str]],
text_queue: asyncio.Queue[str],
) -> None:
parts: list[str] = []
while True:
frame = await audio_queue.get()
if frame is SENTINEL:
break
parts.append(frame)
text = "".join(parts)
print(f"{turn_id}: ASR={text}")
await text_queue.put(text)
async def dialogue_worker(
turn_id: str,
text_queue: asyncio.Queue[str],
reply_queue: asyncio.Queue[str],
started: asyncio.Event,
) -> None:
try:
text = await text_queue.get()
started.set()
# 模拟对话模型生成所需的异步等待。
await asyncio.sleep(0.05)
await reply_queue.put(f"收到:{text}")
except asyncio.CancelledError:
print(f"{turn_id}: dialogue cancelled")
raise
async def tts_worker(
turn_id: str,
reply_queue: asyncio.Queue[str],
) -> None:
try:
reply = await reply_queue.get()
print(f"{turn_id}: TTS={reply}")
except asyncio.CancelledError:
print(f"{turn_id}: downstream stopped")
raise
async def run_turn(
turn_id: str,
frames: list[str],
interrupt: bool,
) -> None:
# 小容量队列用于演示背压,生产速度过快时 put() 会等待。
audio_queue: asyncio.Queue[Optional[str]] = asyncio.Queue(maxsize=2)
text_queue: asyncio.Queue[str] = asyncio.Queue(maxsize=1)
reply_queue: asyncio.Queue[str] = asyncio.Queue(maxsize=1)
dialogue_started = asyncio.Event()
async with asyncio.TaskGroup() as group:
group.create_task(audio_producer(turn_id, frames, audio_queue))
group.create_task(asr_worker(turn_id, audio_queue, text_queue))
dialogue = group.create_task(dialogue_worker(turn_id, text_queue, reply_queue, dialogue_started))
tts = group.create_task(tts_worker(turn_id, reply_queue))
if interrupt:
await dialogue_started.wait()
dialogue.cancel()
tts.cancel()
async def main() -> None:
await run_turn("turn-1", ["你", "好"], interrupt=False)
await run_turn("turn-2", ["请", "介绍", "产品"], interrupt=True)
if __name__ == "__main__":
asyncio.run(main())将代码保存为 stream_pipeline.py,然后运行:
python stream_pipeline.py预期结果与验证
turn-1: ASR=你好
turn-1: TTS=收到:你好
turn-2: ASR=请介绍产品
turn-2: dialogue cancelled
turn-2: downstream stopped第一轮说明队列能够把各阶段串成异步流水线。第二轮中,识别已经完成,但对话和语音合成在用户插话后被取消;程序仍能正常退出,任务组在退出时等待子任务清理。若识别在设置 dialogue_started 之前抛出异常,任务组会取消其他阶段及正在等事件的父任务,向调用方报告异常,不会把一次失败误当作成功。
编排规则与排查顺序
每个队列应明确生产者数量、消费者数量、最大容量和关闭协议。队列长期满载通常表示下游吞吐不足;队列长期为空但用户仍感到延迟,则应检查上游首包时间、批量大小和阶段之间是否存在不必要的串行等待。
取消问题应按“取消信号是否发出、作用域是否正确、协程是否捕获取消、资源是否在 finally 中释放、任务是否被等待”这一顺序定位。生产环境还应为每轮交互分配代次编号,旧代次产生的迟到结果必须丢弃,防止被取消的回复重新进入播放器。
本课总结
- 有界异步队列通过背压限制缓存,并解耦各阶段的处理速度
- 生产者、消费者和结束协议必须成套设计,避免任务永久等待
- 用户打断只应取消当前交互的下游任务,取消后仍需等待并回收全部协程
下一课预告
下一阶段将继续把异步流水线扩展为双向实时通信,重点处理连接保活、消息确认、断线重连以及音频和驱动数据在网络抖动下的连续传输。