大模型原理与训练 / 系统课时

传播超时与取消避免资源泄漏

传播超时与取消避免资源泄漏

推理请求一旦失去调用方,最昂贵的错误不是返回超时,而是 GPU 仍继续生成。本文把网关超时、客户端断开和服务端截止时间统一成取消信号,并验证排队任务与生成中任务都能及时回收。

学习目标

  • 理解超时、断开与取消传播之间的关系
  • 在入队与解码两个阶段检查取消状态
  • 用可运行实验验证无效请求不会继续占用生成资源

把取消当成请求上下文的一部分

超时只是一种触发条件,真正要传播的是“这次请求已经没有继续计算的价值”。网关达到 deadline、客户端主动断开、服务端自己的最大执行时间到期,都应汇合成同一个取消状态,并沿着 API 层、调度队列一直传到推理引擎。

超时与取消从调用方传播到 GPU 任务的链路

这里有两个必须检查取消状态的位置。出队前检查可以删除尚未执行的请求,避免它后来占用批次;生成循环内检查可以终止已经开始的序列,并尽快释放它对应的 KV Cache。只在 HTTP 层结束连接、返回超时状态或抛出异常,而不通知后端任务,资源泄漏仍然存在。

可运行的取消传播实验

下面用标准库 asyncio 模拟单个 GPU worker。submit() 的超时代表上游 deadline;超时后设置共享的 cancelled 事件。worker 在取出任务时检查一次,生成过程中每个 token 周期再检查一次。

python
import asyncio
from dataclasses import dataclass, field

@dataclass
class Job:
    job_id: str
    token_budget: int = 10
    cancelled: asyncio.Event = field(default_factory=asyncio.Event)
    done: asyncio.Event = field(default_factory=asyncio.Event)

async def generate(job: Job) -> None:
    for token_index in range(job.token_budget):
        if job.cancelled.is_set():
            print(f"{job.job_id}: stop at token {token_index}")
            return
        await asyncio.sleep(0.05)
    print(f"{job.job_id}: complete")

async def worker(queue: asyncio.Queue[Job]) -> None:
    while True:
        job = await queue.get()
        try:
            if job.cancelled.is_set():
                print(f"{job.job_id}: dropped before execution")
                continue
            print(f"{job.job_id}: start")
            await generate(job)
        finally:
            job.done.set()
            queue.task_done()

async def submit(queue: asyncio.Queue[Job], job: Job, timeout_s: float) -> None:
    await queue.put(job)
    try:
        await asyncio.wait_for(job.done.wait(), timeout=timeout_s)
    except asyncio.TimeoutError:
        job.cancelled.set()
        print(f"{job.job_id}: timeout -> cancel")
        await job.done.wait()

async def main() -> None:
    queue: asyncio.Queue[Job] = asyncio.Queue()
    worker_task = asyncio.create_task(worker(queue))

    blocker = Job("blocker", token_budget=8)
    await queue.put(blocker)
    await asyncio.sleep(0.02)

    await submit(queue, Job("queued"), timeout_s=0.10)
    await queue.join()

    await submit(queue, Job("running", token_budget=20), timeout_s=0.18)
    await queue.join()

    worker_task.cancel()
    try:
        await worker_task
    except asyncio.CancelledError:
        pass

asyncio.run(main())

预期输出

text
blocker: start
queued: timeout -> cancel
blocker: complete
queued: dropped before execution
running: start
running: timeout -> cancel
running: stop at token <TOKEN_INDEX>

<TOKEN_INDEX> 会随调度时机略有变化。关键结果有两个:queued 没有进入生成阶段,running 在达到完整 token_budget 前停止。

接入真实推理服务时的传播边界

API 层应为每个请求保存 deadline 与取消句柄。检测到客户端断开时立即触发同一取消句柄;网关与服务端的超时值不要彼此独立地“各等各的”,而应把剩余时间继续向下游传递。这样排队时间已经消耗掉的请求,不会在进入 GPU 后重新获得一整段超时预算。

批处理推理还要避免一个常见误区:取消某个 sequence 时,不应粗暴终止整个 batch。调度器应把该 sequence 标记为 finished,在安全点回收它的 KV block,其余仍有效的 sequence 继续生成。若底层引擎只支持整批取消,则需要缩短 batch 生命周期或使用支持逐请求取消的调度接口。

验证资源确实被回收

功能上看到客户端收到超时并不够。上线前至少观察三类指标:取消请求在队列中的残留数量、取消后继续生成的 token 数、KV Cache 或活跃 sequence 数是否在短时间内下降。若请求已经断开但 token 计数仍持续增长,说明取消只停在 HTTP 层。

压测时分别制造“排队期间断开”和“生成期间断开”两种场景,并确认它们都不会形成长期 GPU 占用。做到这一步,超时才真正从接口行为变成了资源治理机制。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

传播超时与取消避免资源泄漏

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通