Python / 系统课时

gather 出错后任务会怎样

gather 出错后任务会怎样

asyncio.gather() 很适合把多个可等待对象的结果按输入顺序收集起来,但“其中一个失败后其他任务会不会停”经常被误解。默认情况下,第一个异常会立即传播给等待 gather() 的协程,而其他任务并不会因此自动取消。

学习目标

  • 理解 gather() 默认的结果与异常传播规则
  • 区分子任务失败、子任务取消和 gather() 自身被取消
  • 判断何时使用 return_exceptions=True,何时改用 TaskGroup

gather 的默认承诺

asyncio.gather(a, b, c) 会并发调度这些 awaitable,并在全部成功时返回一个列表,结果顺序与传入顺序一致,而不是与完成顺序一致。

默认 return_exceptions=False 时,只要某个 awaitable 抛出异常,等待 gather() 的协程就会收到这个异常。重要的是:这并不等于 gather() 自动取消其他尚未完成的 awaitable;只要事件循环继续运行,它们仍可以完成。

gather 异常与继续运行流程

用一个失败任务观察后续任务

这个示例让 B 先失败,同时在捕获异常后继续保持事件循环运行,因此可以明确看到 C 没有被默认取消。

python
import asyncio

async def job(name: str, delay: float, fail: bool = False) -> str:
    try:
        await asyncio.sleep(delay)
        if fail:
            raise ValueError(f"{name} failed")
        print(f"{name}: done")
        return name
    except asyncio.CancelledError:
        print(f"{name}: cancelled")
        raise

async def main() -> None:
    try:
        await asyncio.gather(
            job("A", 0.1),
            job("B", 0.2, fail=True),
            job("C", 0.4),
        )
    except ValueError as error:
        print(f"gather raised: {error}")
        # 保持事件循环继续运行,用来观察 C 是否仍会完成。
        await asyncio.sleep(0.3)

asyncio.run(main())

预期输出

text
A: done
gather raised: B failed
C: done

如果异常后立刻结束 main(),asyncio.run() 在关闭事件循环时会取消仍未完成的任务,此时你可能看到 C 被取消。那是事件循环关闭造成的,不是“B 失败后 gather 自动取消了 C”。

返回异常与取消要分开看

return_exceptions=True 会把普通异常当作结果放进返回列表,而不是立刻向外抛出。它适合“每个任务都要尽量跑完,然后统一检查成功与失败”的批处理,但调用方必须逐项识别异常对象,不能把返回值直接当成全部成功的数据。

情况 gather() 的行为 其他未完成任务
子任务抛普通异常,默认参数 第一个异常传播给调用方 不自动取消
return_exceptions=True 异常进入结果列表 继续运行直到完成
某个子任务被取消 等待方收到该任务产生的 CancelledError 语义 不因这一项而整体取消
gather() 自身被外部取消 gather() 结束为取消 尚未完成的子任务会被取消

部分失败该怎么选

如果业务要求“所有请求都尝试完成,最后逐项记录成功或失败”,gather(..., return_exceptions=True) 很合适,因为它天然保留输入顺序,也方便把结果和原请求一一对应。

如果业务要求“一项失败就终止同组其余工作,并确保离开作用域前全部收尾”,TaskGroup 更贴合这个失败边界。两者都能并发执行任务,但它们对失败后的生命周期承诺不同;选择时应先确定失败策略,而不是只比较写法长短。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

gather 出错后任务会怎样

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通