大模型应用开发 / 系统课时
调整温度与采样参数
调整温度与采样参数
学习目标
完成本课后,你将能够:
- 理解采样参数在生成过程中的作用
- 合理组合
temperature、top_p、top_k和seed- 通过固定测试比较输出稳定性
- 避免把随机种子误解为绝对可重复保证
采样发生在哪里
模型每一步都会为候选 Token 计算概率。采样参数不会给模型增加新知识,而是改变从概率分布中选择下一个 Token 的方式。参数设置不当可能导致回答过于机械、过度发散或重复。
核心参数
| 参数 | 作用 | 常见趋势 |
|---|---|---|
temperature |
调整概率分布平坦程度 | 越低越集中,越高越发散 |
top_k |
只保留概率最高的 K 个候选 | 越小越保守 |
top_p |
保留累计概率达到阈值的候选 | 越小越集中 |
min_p |
按最高概率的相对阈值过滤 | 过滤低概率候选 |
seed |
设置随机种子 | 同条件下提高可重复性 |
repeat_penalty |
惩罚重复内容 | 过高可能破坏自然表达 |
num_predict |
限制最大生成 Token | 控制输出上限 |
低温度任务
结构化抽取、分类、SQL 生成和固定格式输出通常更重视稳定性。可以从以下组合开始:
json
{
"temperature": 0,
"top_p": 0.9,
"top_k": 40,
"seed": 42
}这不是通用最优值。结构化输出还应使用 JSON Schema 约束,而不是只依赖低温度。
创意任务
文案、故事和方案发散需要一定多样性。可以适度提高温度或 top_p,但仍应通过清晰提示词限定主题、长度和禁区。
高温度不能替代需求描述。提示词模糊时,提高温度通常只会增加不稳定输出。
API 对比示例
保存为 compare_sampling.py:
python
import json
import urllib.request
URL = "http://localhost:11434/api/generate"
MODEL = "gemma3:1b"
PROMPT = "为本地 AI 助手写一句不超过 20 字的宣传语。"
def generate(temperature: float, seed: int) -> str:
payload = {
"model": MODEL,
"prompt": PROMPT,
"stream": False,
"options": {
"temperature": temperature,
"seed": seed,
"num_predict": 64,
},
}
request = urllib.request.Request(
URL,
data=json.dumps(payload).encode("utf-8"),
headers={"Content-Type": "application/json"},
)
with urllib.request.urlopen(request, timeout=120) as response:
result = json.load(response)
return result["response"].strip()
for value in (0.0, 0.8, 1.2):
print(f"temperature={value}: {generate(value, 42)}")运行:
bash
python compare_sampling.py预期输出结构:
text
temperature=0.0: <MODEL_RESPONSE>
temperature=0.8: <MODEL_RESPONSE>
temperature=1.2: <MODEL_RESPONSE>具体文本由模型生成。比较重点是稳定性、偏题和表达多样性。
种子的边界
设置相同 seed 可以在模型、提示词、参数、Ollama 版本和硬件执行路径相同的情况下提高复现概率,但以下变化都可能影响结果:
- 模型内容或标签更新
- 模板变化
- 上下文不同
- 参数不同
- Ollama 或推理后端升级
- 并发和硬件路径差异
- 浮点实现差异
因此,生产回归不能只依赖 seed,还要比较结构、关键字段和任务正确性。
调参顺序
- 固定模型、提示词和测试集。
- 先设置输出长度。
- 选择适合任务的温度。
- 再调整
top_p或top_k,避免同时大幅修改多个参数。 - 记录每组参数的质量和稳定性。
- 对结构化任务增加 Schema 验证。
- 把最终参数固化到应用配置或 Modelfile。
一次只改变一到两个参数,才能解释结果变化。
本课练习
练习 1:稳定抽取测试
任务目标:为结构化任务选择参数。输入或初始条件:准备 10 条相同格式的文本。实现要求:比较不同温度的字段正确率。验收条件:用验证结果而不是主观语气选择参数。
练习 2:创意多样性测试
任务目标:观察采样对表达的影响。输入或初始条件:固定一个创意提示词。实现要求:每组参数运行 5 次并统计重复率。验收条件:同时记录偏题率和可用率。
练习 3:验证 seed 边界
任务目标:理解可重复性的条件。输入或初始条件:固定模型与参数。实现要求:同环境重复运行,再修改一个参数运行。验收条件:指出哪些条件变化导致结果不再相同。
按自己的节奏,确认真正理解。