大模型应用开发 / 系统课时

固化推理参数

固化推理参数

学习目标

完成本课后,你将能够:

  • 使用 PARAMETER 配置常用生成参数
  • 理解参数默认值与请求级覆盖关系
  • 为稳定任务和创意任务建立不同模型配置
  • 避免停止词、上下文和输出长度配置冲突

PARAMETER 的格式

每个参数使用一行:

text
PARAMETER <NAME> <VALUE>

同一个参数通常使用最后或模型支持的配置;stop 可以写多行以设置多个停止序列。有效参数应以当前 Modelfile 官方参考为准。

常用参数

参数 作用
num_ctx 上下文长度
temperature 输出随机程度
top_k 候选 Token 数量过滤
top_p 累计概率过滤
min_p 相对概率过滤
seed 随机种子
repeat_last_n 回看重复范围
repeat_penalty 重复惩罚
num_predict 最大输出 Token
stop 停止序列

并非所有参数组合都适合所有模型。

稳定抽取模型

Modelfile:

text
FROM gemma3:1b

SYSTEM 你是结构化信息抽取助手,只输出请求要求的内容。

PARAMETER temperature 0
PARAMETER seed 42
PARAMETER num_ctx 4096
PARAMETER num_predict 512
PARAMETER repeat_penalty 1.1

构建:

bash
ollama create anystack-extractor:v1 -f Modelfile

预期输出最终包含:

text
success

创意模型配置

另一个 Modelfile:

text
FROM gemma3:1b

SYSTEM 你是创意文案助手,但必须遵守用户给出的长度和主题。

PARAMETER temperature 1
PARAMETER top_p 0.95
PARAMETER top_k 60
PARAMETER num_predict 256

构建:

bash
ollama create anystack-copywriter:v1 -f Modelfile

预期输出最终包含:

text
success

参数值只是实验起点,应使用真实任务评测。

停止词的风险

停止词用于遇到特定序列时终止生成。设置错误可能:

  • 回答过早结束
  • JSON 或代码不完整
  • 用户文本包含停止词时意外截断
  • 模板特殊标记泄露
  • 多轮角色格式被破坏

不要复制其他模型的停止词到不同架构。优先保留基础模型原有模板和停止参数。

请求级参数覆盖

API 请求中的 options 可以覆盖 Modelfile 默认值。例如模型默认温度为 0,请求可以临时设置为 0.8。

应用应明确哪些参数允许用户修改。上下文、输出长度和并发相关参数会影响资源,不能完全开放给不受信任用户。

验证参数

执行:

bash
ollama show --modelfile anystack-extractor:v1

预期输出中包含:

text
PARAMETER temperature 0
PARAMETER seed 42
PARAMETER num_ctx 4096
PARAMETER num_predict 512

再使用固定提示词运行多次,比较格式稳定性和输出长度。

参数变更策略

  1. 固定测试集。
  2. 一次只改变主要参数。
  3. 创建新标签而不是覆盖生产名称。
  4. 记录质量、耗时和资源。
  5. 检查请求级覆盖。
  6. 验证长输入和边界输出。
  7. 通过后再更新应用配置。

本课练习

练习 1:创建稳定与创意版本

任务目标:比较两类参数策略。输入或初始条件:使用同一基础模型。实现要求:构建两个模型并运行相同提示词。验收条件:记录多样性、格式和速度差异。

练习 2:测试停止词

任务目标:发现过早截断。输入或初始条件:准备包含候选停止文本的提示词。实现要求:设置停止词后运行。验收条件:能识别截断并调整配置。

练习 3:验证覆盖权限

任务目标:限制用户修改资源参数。输入或初始条件:应用允许传入部分 options。实现要求:设计参数白名单和范围。验收条件:拒绝过大上下文和输出长度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

固化推理参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通