大模型原理与训练 / 系统课时

在贪心采样与束搜索间选择

在贪心采样与束搜索间选择

贪心搜索和束搜索都可以在 generate 中得到确定性结果,但它们保留候选的方式完全不同。本篇用同一模型对比 num_beams=1 与多束搜索,建立搜索质量、确定性和计算成本之间的判断框架,并给出实际选择边界。

学习目标

  • 能解释 greedy 与 beam search 在每一步保留候选的差异
  • 能用 num_beams 配置并运行两种确定性生成
  • 能依据任务目标判断何时值得支付束搜索的额外计算成本

两种搜索到底差在哪里

贪心搜索每一步只保留当前概率最高的 token,一旦选中就不回头。它计算路径单一、速度快、结果稳定,但局部最优选择可能让后续整体序列质量受限。

束搜索会同时保留若干条累计得分较高的候选序列。每一步先扩展所有 beam,再从新的候选中留下得分最好的若干条继续搜索,因此能够避开一部分“第一步看起来最好、整体却较差”的路径。

Greedy 与 Beam Search 的候选保留过程

这里的 greedy 不是随机采样:当 do_sample=False 且 num_beams=1 时,它就是确定性的贪心搜索;当 do_sample=False 且 num_beams>1 时,则进入确定性的束搜索。

用同一提示词比较两种生成

下面的示例只改变搜索策略,长度、停止 token 与模型保持一致,便于观察策略差异。

python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "sshleifer/tiny-gpt2"
prompt = "The best way to learn programming is"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
inputs = tokenizer(prompt, return_tensors="pt")

common = {
    "max_new_tokens": 20,
    "do_sample": False,
    "eos_token_id": tokenizer.eos_token_id,
    "pad_token_id": tokenizer.eos_token_id,
}

greedy_ids = model.generate(**inputs, num_beams=1, **common)
beam_ids = model.generate(
    **inputs,
    num_beams=4,
    early_stopping=True,
    **common,
)

greedy_text = tokenizer.decode(greedy_ids[0], skip_special_tokens=True)
beam_text = tokenizer.decode(beam_ids[0], skip_special_tokens=True)

print("greedy:")
print(greedy_text)
print("beam:")
print(beam_text)

预期输出

text
greedy:
<GENERATED_TEXT_GREEDY>
beam:
<GENERATED_TEXT_BEAM>

两段文本都以原提示词开头,并且在同一模型与参数下可重复得到相同结果。具体续写内容取决于模型文件版本,不应把某一段自然语言输出写死为程序断言。

用任务目标决定是否开 beam

判断维度 Greedy Beam Search
活动候选数 1 条 num_beams 条
确定性 高 高,前提是不开随机采样
计算与显存 最低 通常随 beam 数明显增加
搜索覆盖 只看单一路径 同时比较多条高分路径
常见适用任务 快速基线、低延迟生成 翻译、摘要等偏向单个高概率答案的任务

束搜索不等于“beam 越大质量越高”。对开放式续写、聊天和创意写作,过强地追逐高概率序列常会让文本更保守、重复,甚至不如合理采样自然;而在机器翻译、受约束摘要等需要稳定输出的任务里,它更常有价值。

num_beams=4 可以作为验证束搜索行为的起点,但生产参数应通过真实任务集评估。beam 数增加时,同一时间会维护更多候选以及各自的缓存状态,所以延迟和显存开销都会上升。

识别几个常见误区

num_beams=1 与“采样”没有必然关系。是否随机由 do_sample 决定;只有开启采样后,token 才按概率分布随机抽取。把 greedy、beam 与 sampling 混在一起比较,会误判结果的确定性。

early_stopping=True 主要影响束搜索何时停止,不是把输出强行缩短。最终仍受 eos_token_id、max_new_tokens 等条件共同约束。

如果系统首先要求低延迟、低成本和稳定基线,优先从 greedy 开始;如果任务更看重全局序列得分,并且可以接受更高计算开销,再开启 beam search。选择搜索策略时,最重要的不是参数名,而是任务究竟需要“一条最快路径”还是“多条候选中再做全局比较”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

在贪心采样与束搜索间选择

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通