大模型原理与训练 / 系统课时

用停止条件约束生成边界

用停止条件约束生成边界

生成质量不仅取决于“生成什么”,还取决于“什么时候停”。本节把 max_new_tokens、EOS、停止字符串和自定义 StoppingCriteria 放到同一条生成循环里理解,并用可验证脚本确认每种边界何时触发。

学习目标

  • 区分长度上限、EOS、停止字符串和自定义停止条件的职责
  • 为生成任务同时设置正常终止条件与兜底上限
  • 编写并验证一个符合 Transformers 接口的自定义 StoppingCriteria

停止条件是生成循环的出口

max_new_tokens 限制相对提示词新增的 token 数,适合作为所有请求的兜底上限;EOS 在模型生成结束 token 时停止;stop_strings 在输出匹配指定字符串后停止。当前 Transformers 文档推荐用 max_new_tokens 控制新增长度,并说明使用停止字符串时要把 tokenizer 传给 generate。([Hugging Face][2])

自定义 StoppingCriteria 用于更业务化的条件,例如达到某个结构边界、外部状态满足条件,或在批处理中按样本判断是否应停止。当前 PyTorch 生成接口要求停止条件返回批次维度上的布尔张量,True 表示对应样本应终止。([Hugging Face][3])

文本生成循环中的四类停止出口

用可控 token 验证四种停止方式

为了不依赖模型“碰巧”生成某个字符,示例用一个 LogitsProcessor 强制下一 token 为句点。这样 EOS 与停止字符串是否生效都能得到确定结果,同时仍然走真实的 model.generate() 生成循环。

python
import torch
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    LogitsProcessor,
    LogitsProcessorList,
    StoppingCriteria,
    StoppingCriteriaList,
)

MODEL_ID = "openai-community/gpt2"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(MODEL_ID)
model.eval()

inputs = tokenizer("Boundary test:", return_tensors="pt")
start_length = inputs["input_ids"].shape[1]
dot_id = tokenizer(".", add_special_tokens=False)["input_ids"][0]
default_eos = tokenizer.eos_token_id

class ForceToken(LogitsProcessor):
    def __init__(self, token_id):
        self.token_id = token_id

    def __call__(self, input_ids, scores):
        # 只保留指定 token,用来构造可重复的停止条件实验。
        forced = torch.full_like(scores, float("-inf"))
        forced[:, self.token_id] = 0
        return forced

class StopAfterNewTokens(StoppingCriteria):
    def __init__(self, start_length, limit):
        self.start_length = start_length
        self.limit = limit

    def __call__(self, input_ids, scores, **kwargs):
        reached = input_ids.shape[1] - self.start_length >= self.limit
        # 新版接口按 batch 返回形状为 (batch_size, 1) 的布尔张量。
        return torch.full(
            (input_ids.shape[0], 1),
            reached,
            dtype=torch.bool,
            device=input_ids.device,
        )

force_dot = LogitsProcessorList([ForceToken(dot_id)])

def new_token_count(output):
    return output.shape[1] - start_length

by_length = model.generate(
    **inputs,
    do_sample=False,
    max_new_tokens=3,
    eos_token_id=default_eos,
    pad_token_id=default_eos,
    logits_processor=force_dot,
)

by_eos = model.generate(
    **inputs,
    do_sample=False,
    max_new_tokens=10,
    eos_token_id=dot_id,
    pad_token_id=default_eos,
    logits_processor=force_dot,
)

by_string = model.generate(
    **inputs,
    do_sample=False,
    max_new_tokens=10,
    eos_token_id=default_eos,
    pad_token_id=default_eos,
    stop_strings=["."],
    tokenizer=tokenizer,
    logits_processor=force_dot,
)

by_custom = model.generate(
    **inputs,
    do_sample=False,
    max_new_tokens=10,
    eos_token_id=default_eos,
    pad_token_id=default_eos,
    logits_processor=force_dot,
    stopping_criteria=StoppingCriteriaList(
        [StopAfterNewTokens(start_length, 2)]
    ),
)

print("max_new_tokens:", new_token_count(by_length))
print("eos_token_id:", new_token_count(by_eos))
print("stop_strings:", new_token_count(by_string))
print("custom criterion:", new_token_count(by_custom))

预期输出

text
max_new_tokens: 3
eos_token_id: 1
stop_strings: 1
custom criterion: 2

这里把“句点”同时当作可控实验 token。第一组没有把句点设为 EOS,所以一直生成到 3 个新 token;第二组把句点设为 EOS,第一步即结束;第三组由停止字符串截断;第四组忽略句点本身,累计 2 个新 token 后由自定义条件终止。

为真实任务组合正常出口与兜底上限

生产代码不要只依赖单一条件。对开放式文本,通常至少设置 max_new_tokens,防止模型始终不产生正常结束标记;如果协议有明确结束符,再同时配置 EOS 或 stop_strings。这样“内容边界”负责尽早结束,“长度上限”负责最坏情况下收口。

停止字符串按文本匹配,适合 </answer>、双换行或固定分隔符这类协议边界;EOS 更适合模型本身训练出的结束 token。若边界依赖多 token 结构、计数器或外部状态,自定义 StoppingCriteria 更清晰,也更容易单元测试。

避免把停止条件当作内容清洗

停止条件只决定生成循环何时结束,不会自动删除已经生成的分隔符,也不会修复截断后的语法。因此下游仍要明确:是否保留停止字符串、是否需要去除尾部标记,以及 JSON、代码等结构化输出被长度上限截断时如何判错。

最稳妥的验收方式不是“看起来停了”,而是同时检查新增 token 数、结束原因和最终文本结构。只要始终保留 max_new_tokens 这一层兜底,再用 EOS、停止字符串或自定义规则表达正常边界,生成就能从“可能无限续写”变成可预测、可测试的过程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用停止条件约束生成边界

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通