大模型应用开发 / 系统课时
固化推理参数
固化推理参数
学习目标
完成本课后,你将能够:
- 使用
PARAMETER配置常用生成参数- 理解参数默认值与请求级覆盖关系
- 为稳定任务和创意任务建立不同模型配置
- 避免停止词、上下文和输出长度配置冲突
PARAMETER 的格式
每个参数使用一行:
text
PARAMETER <NAME> <VALUE>同一个参数通常使用最后或模型支持的配置;stop 可以写多行以设置多个停止序列。有效参数应以当前 Modelfile 官方参考为准。
常用参数
| 参数 | 作用 |
|---|---|
num_ctx |
上下文长度 |
temperature |
输出随机程度 |
top_k |
候选 Token 数量过滤 |
top_p |
累计概率过滤 |
min_p |
相对概率过滤 |
seed |
随机种子 |
repeat_last_n |
回看重复范围 |
repeat_penalty |
重复惩罚 |
num_predict |
最大输出 Token |
stop |
停止序列 |
并非所有参数组合都适合所有模型。
稳定抽取模型
Modelfile:
text
FROM gemma3:1b
SYSTEM 你是结构化信息抽取助手,只输出请求要求的内容。
PARAMETER temperature 0
PARAMETER seed 42
PARAMETER num_ctx 4096
PARAMETER num_predict 512
PARAMETER repeat_penalty 1.1构建:
bash
ollama create anystack-extractor:v1 -f Modelfile预期输出最终包含:
text
success创意模型配置
另一个 Modelfile:
text
FROM gemma3:1b
SYSTEM 你是创意文案助手,但必须遵守用户给出的长度和主题。
PARAMETER temperature 1
PARAMETER top_p 0.95
PARAMETER top_k 60
PARAMETER num_predict 256构建:
bash
ollama create anystack-copywriter:v1 -f Modelfile预期输出最终包含:
text
success参数值只是实验起点,应使用真实任务评测。
停止词的风险
停止词用于遇到特定序列时终止生成。设置错误可能:
- 回答过早结束
- JSON 或代码不完整
- 用户文本包含停止词时意外截断
- 模板特殊标记泄露
- 多轮角色格式被破坏
不要复制其他模型的停止词到不同架构。优先保留基础模型原有模板和停止参数。
请求级参数覆盖
API 请求中的 options 可以覆盖 Modelfile 默认值。例如模型默认温度为 0,请求可以临时设置为 0.8。
应用应明确哪些参数允许用户修改。上下文、输出长度和并发相关参数会影响资源,不能完全开放给不受信任用户。
验证参数
执行:
bash
ollama show --modelfile anystack-extractor:v1预期输出中包含:
text
PARAMETER temperature 0
PARAMETER seed 42
PARAMETER num_ctx 4096
PARAMETER num_predict 512再使用固定提示词运行多次,比较格式稳定性和输出长度。
参数变更策略
- 固定测试集。
- 一次只改变主要参数。
- 创建新标签而不是覆盖生产名称。
- 记录质量、耗时和资源。
- 检查请求级覆盖。
- 验证长输入和边界输出。
- 通过后再更新应用配置。
本课练习
练习 1:创建稳定与创意版本
任务目标:比较两类参数策略。输入或初始条件:使用同一基础模型。实现要求:构建两个模型并运行相同提示词。验收条件:记录多样性、格式和速度差异。
练习 2:测试停止词
任务目标:发现过早截断。输入或初始条件:准备包含候选停止文本的提示词。实现要求:设置停止词后运行。验收条件:能识别截断并调整配置。
练习 3:验证覆盖权限
任务目标:限制用户修改资源参数。输入或初始条件:应用允许传入部分 options。实现要求:设计参数白名单和范围。验收条件:拒绝过大上下文和输出长度。
按自己的节奏,确认真正理解。