AI 内容创作 / 系统课时

异步任务与流式编排

异步任务与流式编排

实时数字人的各模块速度并不一致:音频持续到达,识别分段输出,对话模型可能延迟,语音合成又会产生多个音频块。本课使用有界异步队列、生产者消费者和取消边界组织流水线,并演示用户打断时如何停止下游任务。

学习目标

  • 使用异步队列解耦采集、识别、对话和语音合成
  • 理解背压、哨兵值与任务生命周期的作用
  • 在用户打断时取消当前任务并安全回收等待中的协程

流式流水线的阻塞来源

若采集函数直接等待识别,识别再同步等待对话和语音合成,任何一步变慢都会阻塞上游,最终造成录音丢帧或播放卡顿。异步编排的核心不是“同时启动更多任务”,而是为每个阶段定义输入队列、输出队列、容量上限和结束条件。

有界队列通过 maxsize 形成背压:下游处理不过来时,上游的 put() 会等待,系统不会无限堆积内存。结束信号可以使用专用对象或消息类型,避免把正常数据与结束状态混淆。每次用户交互还需要独立的任务作用域,便于整体取消。

队列、背压与取消边界

实时数字人异步队列与取消编排

取消应从交互作用域向下游传播,而不是关闭整个服务。用户插话后,当前对话生成、语音合成和播放器需要停止,但麦克风采集与下一轮识别仍可继续。资源清理优先放在 finally;若捕获 CancelledError 做额外处理,应在清理后重新抛出。取消是协作式的,已发出的外部动作需要独立核对状态。

机制 解决的问题 边界
有界队列 防止无限缓存 容量过小会增加等待,过大则提高延迟
生产者消费者 解耦阶段速度 每个消费者必须定义退出条件
哨兵值 通知流已结束 不应与合法业务数据冲突
任务取消 响应用户打断 只取消当前交互作用域
TaskGroup 回收 退出作用域前等待所有子任务 普通阶段异常会取消同组任务并传播

完整可运行示例

下面的 Python 3.11 示例执行两轮交互。第一轮完整通过音频、识别、对话和语音合成;第二轮在对话任务开始后模拟用户插话,并取消对话与下游语音任务。

python
import asyncio
from typing import Optional

SENTINEL: Optional[str] = None

async def audio_producer(
    turn_id: str,
    frames: list[str],
    audio_queue: asyncio.Queue[Optional[str]],
) -> None:
    for frame in frames:
        await audio_queue.put(frame)
    await audio_queue.put(SENTINEL)

async def asr_worker(
    turn_id: str,
    audio_queue: asyncio.Queue[Optional[str]],
    text_queue: asyncio.Queue[str],
) -> None:
    parts: list[str] = []

    while True:
        frame = await audio_queue.get()
        if frame is SENTINEL:
            break
        parts.append(frame)

    text = "".join(parts)
    print(f"{turn_id}: ASR={text}")
    await text_queue.put(text)

async def dialogue_worker(
    turn_id: str,
    text_queue: asyncio.Queue[str],
    reply_queue: asyncio.Queue[str],
    started: asyncio.Event,
) -> None:
    try:
        text = await text_queue.get()
        started.set()

        # 模拟对话模型生成所需的异步等待。
        await asyncio.sleep(0.05)
        await reply_queue.put(f"收到:{text}")
    except asyncio.CancelledError:
        print(f"{turn_id}: dialogue cancelled")
        raise

async def tts_worker(
    turn_id: str,
    reply_queue: asyncio.Queue[str],
) -> None:
    try:
        reply = await reply_queue.get()
        print(f"{turn_id}: TTS={reply}")
    except asyncio.CancelledError:
        print(f"{turn_id}: downstream stopped")
        raise

async def run_turn(
    turn_id: str,
    frames: list[str],
    interrupt: bool,
) -> None:
    # 小容量队列用于演示背压,生产速度过快时 put() 会等待。
    audio_queue: asyncio.Queue[Optional[str]] = asyncio.Queue(maxsize=2)
    text_queue: asyncio.Queue[str] = asyncio.Queue(maxsize=1)
    reply_queue: asyncio.Queue[str] = asyncio.Queue(maxsize=1)
    dialogue_started = asyncio.Event()

    async with asyncio.TaskGroup() as group:
        group.create_task(audio_producer(turn_id, frames, audio_queue))
        group.create_task(asr_worker(turn_id, audio_queue, text_queue))
        dialogue = group.create_task(dialogue_worker(turn_id, text_queue, reply_queue, dialogue_started))
        tts = group.create_task(tts_worker(turn_id, reply_queue))

        if interrupt:
            await dialogue_started.wait()
            dialogue.cancel()
            tts.cancel()

async def main() -> None:
    await run_turn("turn-1", ["你", "好"], interrupt=False)
    await run_turn("turn-2", ["请", "介绍", "产品"], interrupt=True)

if __name__ == "__main__":
    asyncio.run(main())

将代码保存为 stream_pipeline.py,然后运行:

bash
python stream_pipeline.py

预期结果与验证

text
turn-1: ASR=你好
turn-1: TTS=收到:你好
turn-2: ASR=请介绍产品
turn-2: dialogue cancelled
turn-2: downstream stopped

第一轮说明队列能够把各阶段串成异步流水线。第二轮中,识别已经完成,但对话和语音合成在用户插话后被取消;程序仍能正常退出,任务组在退出时等待子任务清理。若识别在设置 dialogue_started 之前抛出异常,任务组会取消其他阶段及正在等事件的父任务,向调用方报告异常,不会把一次失败误当作成功。

编排规则与排查顺序

每个队列应明确生产者数量、消费者数量、最大容量和关闭协议。队列长期满载通常表示下游吞吐不足;队列长期为空但用户仍感到延迟,则应检查上游首包时间、批量大小和阶段之间是否存在不必要的串行等待。

取消问题应按“取消信号是否发出、作用域是否正确、协程是否捕获取消、资源是否在 finally 中释放、任务是否被等待”这一顺序定位。生产环境还应为每轮交互分配代次编号,旧代次产生的迟到结果必须丢弃,防止被取消的回复重新进入播放器。

本课总结

  • 有界异步队列通过背压限制缓存,并解耦各阶段的处理速度
  • 生产者、消费者和结束协议必须成套设计,避免任务永久等待
  • 用户打断只应取消当前交互的下游任务,取消后仍需等待并回收全部协程

下一课预告

下一阶段将继续把异步流水线扩展为双向实时通信,重点处理连接保活、消息确认、断线重连以及音频和驱动数据在网络抖动下的连续传输。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

异步任务与流式编排

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通