大模型应用开发 / 系统课时

设置生成参数

设置生成参数

生成参数决定模型回答有多随机、最多生成多长、何时停止,以及一次返回多少个候选。本课给出一套可执行的参数基线,并说明如何按抽取、代码、创作等任务调整,避免输出失控或成本浪费。

学习目标

  • 理解随机性、长度、停止条件和候选数量的职责
  • 根据任务类型选择一组可落地的参数起点
  • 通过校验与小样本测试确认参数是否生效

先明确每个参数控制什么

temperature 控制采样随机性。数值越低,模型越倾向选择高概率词,适合抽取、分类和代码修改;数值越高,表达更丰富,但事实漂移和格式偏差也会增加。

max_output_tokens 是输出上限,不是目标长度。模型可能提前结束,也可能因为达到上限而被截断。对需要完整 JSON、SQL 或代码的任务,应预留结构闭合所需的空间。

stop 定义停止序列。当模型生成指定文本时,服务会终止后续输出。它适合阻止模型继续补充解释,但停止序列是否包含在结果中取决于具体服务,接入时必须实测。

candidate_count 表示一次生成多少个候选。候选越多,越容易挑到满意结果,但延迟和计费通常也会同步增加。大多数在线请求从 1 开始即可。

参数 稳定任务起点 创意任务起点 主要风险
temperature 0~0.3 0.7~1.0 过高时内容和格式不稳定
max_output_tokens 按结构预估后留余量 按篇幅限制设置 过小会截断,过大增加成本
stop 使用明确且不易误触的标记 通常不设置 普通文本可能提前命中
candidate_count 1 2~3 候选越多,延迟与费用越高

用可执行配置建立基线

下面的程序不依赖具体模型厂商,用于集中定义和校验生成参数。接入 SDK 时,将 asdict(options) 得到的字段映射到对应请求参数即可。

python
from dataclasses import asdict, dataclass
import json

@dataclass(frozen=True)
class GenerationOptions:
    temperature: float = 0.2
    max_output_tokens: int = 300
    stop: tuple[str, ...] = ("\nEND",)
    candidate_count: int = 1
    top_p: float = 0.9

    def validate(self) -> None:
        # 先在本地拒绝明显无效的配置,避免请求到服务端才失败。
        if not 0 <= self.temperature <= 2:
            raise ValueError("temperature 必须位于 0 到 2 之间")
        if self.max_output_tokens <= 0:
            raise ValueError("max_output_tokens 必须大于 0")
        if not 1 <= self.candidate_count <= 4:
            raise ValueError("candidate_count 必须位于 1 到 4 之间")
        if not 0 < self.top_p <= 1:
            raise ValueError("top_p 必须位于 0 到 1 之间")

def main() -> None:
    options = GenerationOptions()
    options.validate()
    print(json.dumps(asdict(options), ensure_ascii=False, indent=2))

if __name__ == "__main__":
    main()

预期输出:

json
{
  "temperature": 0.2,
  "max_output_tokens": 300,
  "stop": [
    "\nEND"
  ],
  "candidate_count": 1,
  "top_p": 0.9
}

实际模型输出仍会受模型版本、提示词和服务实现影响;这里验证的是参数对象能够稳定构造,而不是保证每次生成相同文本。

按任务类型调整

信息抽取、分类、格式转换和代码修复更重视确定性,可从 temperature=0~0.2、单候选开始。若输出经常被截断,先提高长度上限,不要通过提高随机性解决。

营销文案、标题创作和方案发散需要差异,可将 temperature 提高到 0.7 左右,并在确有挑选需求时生成两个候选。候选之间仍高度相似时,再逐步调高随机性,而不是一次拉满。

top_p 也会改变采样范围。实践中通常选择 temperature 或 top_p 作为主要随机性旋钮,另一个保持默认,避免两个参数同时大幅变化后难以判断原因。

验证参数是否合适

使用固定的十到二十条代表性输入做小样本回归,记录格式通过率、内容正确率、平均输出长度、延迟和成本。每次只改一个参数,才能确认变化来自哪里。

常见错误包括:把最大输出长度当成必须生成的长度;停止词过于普通导致提前截断;为追求“更好”盲目增加候选;在要求严格 JSON 时仍使用较高随机性。参数只负责约束生成过程,不能替代清晰提示词和结果校验。

本课总结

  • 低随机性适合确定性任务,高随机性适合创意发散
  • 最大输出长度是上限,停止条件和候选数量会直接影响完整性、延迟与成本
  • 应使用固定样本逐项调参,并同时观察质量、格式、延迟和费用

下一课预告

下一课将把输出从自然语言收紧为可验证的 JSON,介绍字段契约、解析校验和失败恢复。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设置生成参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通