大模型应用开发 / 系统课时

调整温度与采样参数

调整温度与采样参数

学习目标

完成本课后,你将能够:

  • 理解采样参数在生成过程中的作用
  • 合理组合 temperature、top_p、top_k 和 seed
  • 通过固定测试比较输出稳定性
  • 避免把随机种子误解为绝对可重复保证

采样发生在哪里

模型每一步都会为候选 Token 计算概率。采样参数不会给模型增加新知识,而是改变从概率分布中选择下一个 Token 的方式。参数设置不当可能导致回答过于机械、过度发散或重复。

核心参数

参数 作用 常见趋势
temperature 调整概率分布平坦程度 越低越集中,越高越发散
top_k 只保留概率最高的 K 个候选 越小越保守
top_p 保留累计概率达到阈值的候选 越小越集中
min_p 按最高概率的相对阈值过滤 过滤低概率候选
seed 设置随机种子 同条件下提高可重复性
repeat_penalty 惩罚重复内容 过高可能破坏自然表达
num_predict 限制最大生成 Token 控制输出上限

低温度任务

结构化抽取、分类、SQL 生成和固定格式输出通常更重视稳定性。可以从以下组合开始:

json
{
  "temperature": 0,
  "top_p": 0.9,
  "top_k": 40,
  "seed": 42
}

这不是通用最优值。结构化输出还应使用 JSON Schema 约束,而不是只依赖低温度。

创意任务

文案、故事和方案发散需要一定多样性。可以适度提高温度或 top_p,但仍应通过清晰提示词限定主题、长度和禁区。

高温度不能替代需求描述。提示词模糊时,提高温度通常只会增加不稳定输出。

API 对比示例

保存为 compare_sampling.py:

python
import json
import urllib.request

URL = "http://localhost:11434/api/generate"
MODEL = "gemma3:1b"
PROMPT = "为本地 AI 助手写一句不超过 20 字的宣传语。"

def generate(temperature: float, seed: int) -> str:
    payload = {
        "model": MODEL,
        "prompt": PROMPT,
        "stream": False,
        "options": {
            "temperature": temperature,
            "seed": seed,
            "num_predict": 64,
        },
    }
    request = urllib.request.Request(
        URL,
        data=json.dumps(payload).encode("utf-8"),
        headers={"Content-Type": "application/json"},
    )
    with urllib.request.urlopen(request, timeout=120) as response:
        result = json.load(response)
    return result["response"].strip()

for value in (0.0, 0.8, 1.2):
    print(f"temperature={value}: {generate(value, 42)}")

运行:

bash
python compare_sampling.py

预期输出结构:

text
temperature=0.0: <MODEL_RESPONSE>
temperature=0.8: <MODEL_RESPONSE>
temperature=1.2: <MODEL_RESPONSE>

具体文本由模型生成。比较重点是稳定性、偏题和表达多样性。

种子的边界

设置相同 seed 可以在模型、提示词、参数、Ollama 版本和硬件执行路径相同的情况下提高复现概率,但以下变化都可能影响结果:

  • 模型内容或标签更新
  • 模板变化
  • 上下文不同
  • 参数不同
  • Ollama 或推理后端升级
  • 并发和硬件路径差异
  • 浮点实现差异

因此,生产回归不能只依赖 seed,还要比较结构、关键字段和任务正确性。

调参顺序

  1. 固定模型、提示词和测试集。
  2. 先设置输出长度。
  3. 选择适合任务的温度。
  4. 再调整 top_p 或 top_k,避免同时大幅修改多个参数。
  5. 记录每组参数的质量和稳定性。
  6. 对结构化任务增加 Schema 验证。
  7. 把最终参数固化到应用配置或 Modelfile。

一次只改变一到两个参数,才能解释结果变化。

本课练习

练习 1:稳定抽取测试

任务目标:为结构化任务选择参数。输入或初始条件:准备 10 条相同格式的文本。实现要求:比较不同温度的字段正确率。验收条件:用验证结果而不是主观语气选择参数。

练习 2:创意多样性测试

任务目标:观察采样对表达的影响。输入或初始条件:固定一个创意提示词。实现要求:每组参数运行 5 次并统计重复率。验收条件:同时记录偏题率和可用率。

练习 3:验证 seed 边界

任务目标:理解可重复性的条件。输入或初始条件:固定模型与参数。实现要求:同环境重复运行,再修改一个参数运行。验收条件:指出哪些条件变化导致结果不再相同。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

调整温度与采样参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通