大模型原理与训练 / 系统课时

实现批量生成与流式输出

实现批量生成与流式输出

生成服务常同时追求两件事:批量请求要提高设备吞吐,交互请求又要尽快看到首段文本。本篇把这两条路径拆开实现:批量生成使用左填充并按行回切结果,单请求流式生成使用 TextIteratorStreamer 边生成边消费。

学习目标

  • 为 decoder-only 聊天模型构造左填充批量输入并正确切出新增 token
  • 用 TextIteratorStreamer 实现单请求增量输出
  • 根据吞吐量与交互延迟选择批量或流式路径

批量生成先把输入右端对齐

decoder-only 模型在每个解码步都从序列末端继续预测。批量中各请求长度不同,因此通常把 padding_side 设为 left,让每一行最后一个有效 token 都位于右端;attention_mask 再负责屏蔽左侧填充。没有独立 pad token 的模型可按其模型说明选择兼容的填充值,常见做法是复用 EOS。

生成结果的每一行仍与输入批次同索引对应。对已经填充成同一宽度的输入,切分新增部分时应使用整个批次的 input_ids.shape[1],而不是分别拿每条原始文本长度去切 tensor,否则很容易把提示词残片混进答案。

左填充批量生成与结果回切

同一脚本实现批量与流式两条路径

下面的脚本使用同一个小型 instruct 模型。batch_generate() 一次处理两个会话;stream_one() 单独处理一个会话,并把生成放在线程中,让主线程可以持续消费 streamer 的文本片段。

python
from threading import Thread

import torch
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    TextIteratorStreamer,
)

MODEL_ID = "HuggingFaceTB/SmolLM2-135M-Instruct"
device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
tokenizer.padding_side = "left"
if tokenizer.pad_token_id is None:
    tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(MODEL_ID).to(device)
model.eval()

chats = [
    [{"role": "user", "content": "只回答一个数字:1+1 等于多少?"}],
    [{"role": "user", "content": "只回答一个数字:3+4 等于多少?"}],
]

def batch_generate(conversations):
    inputs = tokenizer.apply_chat_template(
        conversations,
        tokenize=True,
        add_generation_prompt=True,
        padding=True,
        return_dict=True,
        return_tensors="pt",
    ).to(device)

    prompt_width = inputs["input_ids"].shape[1]
    with torch.inference_mode():
        output_ids = model.generate(
            **inputs,
            max_new_tokens=8,
            do_sample=False,
            pad_token_id=tokenizer.pad_token_id,
        )

    new_ids = output_ids[:, prompt_width:]
    return tokenizer.batch_decode(new_ids, skip_special_tokens=True)

def stream_one(conversation):
    inputs = tokenizer.apply_chat_template(
        conversation,
        tokenize=True,
        add_generation_prompt=True,
        return_dict=True,
        return_tensors="pt",
    ).to(device)

    streamer = TextIteratorStreamer(
        tokenizer,
        skip_prompt=True,
        skip_special_tokens=True,
        timeout=30.0,
    )
    generation_kwargs = {
        **inputs,
        "streamer": streamer,
        "max_new_tokens": 24,
        "do_sample": False,
        "pad_token_id": tokenizer.pad_token_id,
    }

    worker = Thread(target=model.generate, kwargs=generation_kwargs)
    worker.start()
    for piece in streamer:
        print(piece, end="", flush=True)
    worker.join()
    print()

answers = batch_generate(chats)
for index, answer in enumerate(answers):
    print(f"batch[{index}]: {answer.strip()}")

print("stream:", end=" ")
stream_one(chats[0])

预期结果

text
batch[0]: <GENERATED_TEXT_0>
batch[1]: <GENERATED_TEXT_1>
stream: <GENERATED_TEXT_0>

其中 <GENERATED_TEXT_0> 和 <GENERATED_TEXT_1> 是实际模型生成文本;示例使用贪心解码以减少随机性,但模型仓库后续更新权重或生成配置时,具体内容仍可能变化。稳定不变的是批次行与请求索引的对应关系,以及流式路径会逐片段打印单个请求的回复。

Streamer 改善的是可见延迟

TextIteratorStreamer 会把可解码文本放入队列,调用方可以一边迭代一边把片段推给终端、WebSocket 或 SSE。它并不会让模型计算本身更快;收益在于用户不必等整段生成完成后才看到第一个可读片段。

生成必须放到另一个线程,是因为 model.generate() 是阻塞调用。如果主线程先同步等待它返回,再去遍历 streamer,就失去了流式效果。设置 timeout 还能避免生成线程异常时消费者永久阻塞。

吞吐与响应速度不要混成一个指标

批量生成让多个序列共享每个解码步的模型计算,更容易提高 GPU 利用率和单位时间完成的 token 数,但请求要等待凑批,而且同一批中的长序列会占用更多解码步。它适合离线任务、队列消费和允许短暂排队的接口。

流式输出强调交互体验,通常围绕单请求尽快暴露首个文本片段。它适合聊天、代码补全和长回答界面。生产系统常用微批调度把两者结合:后端动态合批提高吞吐,前端仍按请求分别接收增量 token。

无论选择哪条路径,都应保留请求索引或请求 ID,并只解码 prompt_width 之后的新增 token。批量负责计算效率,streamer 负责结果交付方式;把这两层职责分开,才能同时避免错配答案和误判性能瓶颈。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实现批量生成与流式输出

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通