大模型原理与训练 / 系统课时

理解连续批处理的调度收益

理解连续批处理的调度收益

连续批处理解决的不是“把更多请求一次塞进 GPU”这么简单,而是让已完成请求立即释放执行槽位,并在下一轮解码时补入新请求。对输出长度差异很大的在线流量,这种动态补槽能显著减少空槽等待,提高 GPU 的有效工作比例并缩短排队时间。

学习目标

  • 区分静态批处理和 Continuous Batching 在请求加入、退出时机上的差异。
  • 用一个最小调度模型计算混合长度请求下的完成时间和槽位利用率。
  • 判断连续批处理何时最有收益,以及哪些瓶颈不会因为它自动消失。

静态批处理浪费在哪里

自回归生成会一轮一轮地产生 token。假设一次最多放两个请求,A 需要生成 6 个 token,B 只需要 2 个 token,C 需要 4 个 token。若采用简化的静态批处理,A 与 B 作为同一批启动后,B 在第 2 轮已经结束,但它占用的批次位置要等 A 完成后才会进入下一批。

这样一来,第 3~6 轮只有 A 在工作,另一个槽位处于空闲;等 A 完成后,C 才开始。混合长度越明显,短请求越多,这种“等待批次中最慢请求”的浪费越突出。

连续批处理如何补槽

Continuous Batching 把“批次”从固定请求集合变成每轮都可以更新的活动集合。B 在第 2 轮结束后,调度器立刻把 C 补进空槽;第 3 轮开始时,A 和 C 就能并行继续解码。请求不必等整个批次结束才进入或退出。

静态批处理与连续批处理的槽位时间线对比

图中真正关键的不是“批大小更大”,而是槽位的生命周期变短:一个请求完成即可退出,一个等待请求即可加入,活动批次会随每轮解码动态变化。

用可运行模拟量化差异

下面的 Python 程序故意忽略真实推理中的 KV Cache、prefill、kernel 和调度开销,只保留“槽位能否即时补入”这个变量。三条请求的总工作量相同,因此完成时间和利用率差异完全来自调度方式。

python
from collections import deque

REQUESTS = [('A', 6), ('B', 2), ('C', 4)]
SLOTS = 2

def static_batch(requests):
    elapsed = 0
    active_steps = 0
    for i in range(0, len(requests), SLOTS):
        batch = requests[i:i + SLOTS]
        elapsed += max(tokens for _, tokens in batch)
        active_steps += sum(tokens for _, tokens in batch)
    utilization = active_steps / (elapsed * SLOTS)
    return elapsed, utilization

def continuous_batch(requests):
    waiting = deque(
        {'name': name, 'left': tokens}
        for name, tokens in requests
    )
    running = []
    elapsed = 0
    active_steps = 0

    while waiting or running:
        while waiting and len(running) < SLOTS:
            running.append(waiting.popleft())

        for req in running:
            req['left'] -= 1
            active_steps += 1

        elapsed += 1
        running = [req for req in running if req['left'] > 0]

    utilization = active_steps / (elapsed * SLOTS)
    return elapsed, utilization

for name, fn in [
    ('static', static_batch),
    ('continuous', continuous_batch),
]:
    elapsed, utilization = fn(REQUESTS)
    print(f'{name} makespan={elapsed} utilization={utilization:.1%}')

预期输出:

text
static makespan=10 utilization=60.0%
continuous makespan=6 utilization=100.0%

这个结果不是在预测某个具体推理引擎的真实性能,而是在隔离一个调度事实:相同 12 个 token-step 的工作量,静态批处理因为空槽产生了额外等待,连续批处理则把 C 提前填入空位,使两个槽位在这组请求中一直保持有效工作。

收益与边界

连续批处理最适合在线服务中的混合长度流量:请求到达时间不同、输出长度差异大,而且系统持续有等待请求可补入。此时它通常能提高 GPU 利用率和吞吐,并减少短请求被长请求拖住的排队浪费。

它也不是“无条件加速器”。如果流量很低,没有等待请求可补;如果瓶颈在 prefill、显存带宽、KV Cache 容量或通信链路,动态补槽只能解决其中一部分问题。调度器本身也有开销,因此真实评估仍要在目标并发度和真实长度分布下观察吞吐、P95 延迟、TTFT 与显存占用。

判断 Continuous Batching 是否有效,最重要的不是只看最大 batch size,而是看活动序列能否在请求完成时及时回收、等待请求能否快速进入,以及这种动态变化是否让 GPU 在目标流量下减少空转。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解连续批处理的调度收益

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通