AI Agent / 系统课时

设置生成参数

设置生成参数

本课解决生成参数难以选择的问题:先明确每个参数控制什么,再为抽取、问答和创作任务建立可复用的起始配置,并通过截断、格式和重复度验证结果是否符合预期。

学习目标

  • 理解温度、采样范围、最大输出和停止条件的作用
  • 根据任务确定一组可测试的起始参数
  • 识别截断、过度随机和停止条件误触发

参数不是越多越好

温度调整 token 概率分布的集中程度。对支持该参数的模型,较高值通常增加多样性。top_p 从按概率排序后累计概率达到阈值的候选 token 集合中采样。优先只调其中一项。

参数 Chat Completions 中的作用 验证重点
temperature 控制采样分布 降低温度不能保证可复现或事实正确
top_p 控制按累计概率选入的候选范围 不等于固定保留前若干个候选
max_completion_tokens 限制可见输出和推理 token 的总生成预算 预算不等于实际生成量
stop 支持该参数的模型遇到指定文本后提前结束 结束字符串不会出现在输出中,常见正文也可能误触发

Responses API 的生成预算字段是 max_output_tokens。Chat Completions 此处使用 max_completion_tokens。同一端点不同模型也可能不支持相同的采样或停止参数。以选定模型和供应商的参数清单为准,只传支持的可选项。

按任务选择起始配置

先在目标模型上建立可复测的基线。默认不传采样参数,以同一组输入测结构通过率和输出质量,再调整一个变量。需要严格结构时,优先用下一课的输出 Schema 和本地校验。

任务 第一次实验的生成预算示例 验收重点
短字段抽取 300 字段和枚举正确,能区分拒绝与截断
有引用的问答 800 回答有依据,引用和事实匹配
创意生成 1200 内容多样,仍满足业务规则和篇幅

以上是课堂实验值。推理模型可能为推理消耗部分预算。较长输入还会占用模型上下文,输入规模与生成预算应一起检查。

用代码集中管理参数

下面的函数返回请求体中的可选配置。只有查明目标模型支持温度后,才传入经过实验的温度值。运行示例无需访问模型。

python
def chat_options(max_completion_tokens, *, temperature=None, supports_temperature=False):
    if type(max_completion_tokens) is not int or max_completion_tokens < 1:
        raise ValueError("max_completion_tokens must be a positive integer")
    options = {"max_completion_tokens": max_completion_tokens}
    if temperature is not None:
        if not supports_temperature:
            raise ValueError("temperature is unavailable on this model")
        if type(temperature) not in (int, float) or not 0 <= temperature <= 2:
            raise ValueError("temperature is outside the Chat Completions range")
        options["temperature"] = temperature
    return options


if __name__ == "__main__":
    print(chat_options(300))
    print(chat_options(800, temperature=0.5, supports_temperature=True))

预期输出

text
{'max_completion_tokens': 300}
{'max_completion_tokens': 800, 'temperature': 0.5}

将配置合并到前一章构造的 Chat Completions JSON 请求体。还应核对目标模型的上下文窗口和单次输出限制。此处的代码校验类型和通用范围,具体端点可再施加更严格的限制。

验证参数是否生效

参数验证不能只看一次输出。对同一组代表性输入重复运行,检查格式成功率、事实错误率、平均长度和响应结束原因。结构化任务重点观察字段是否稳定;创意任务则关注内容差异是否增加,同时仍满足禁用词、篇幅和格式限制。

Chat Completions 响应中,按 choices[i].finish_reason 判断该候选结果。length 表示生成触及长度上限,应先判断请求是否要求过多内容,再决定缩短输入或调整生成预算。stop 可能是自然停止,也可能是命中自定义结束序列。tool_calls 表示还有工具处理步骤。记录模型、实际发送的配置和结束原因,便于重现测试。

读取实际 Token 用量

Chat Completions 的 usage.prompt_tokens 与 usage.completion_tokens 分别是输入和生成用量,usage.total_tokens 是合计。若细分字段可用,prompt_tokens_details.cached_tokens 及 completion_tokens_details.reasoning_tokens 已包含在对应总项中。流式模式的用量回报要另外启用,详见流式响应一课。

例如一次调用报告 300 个输入 token、50 个生成 token,其中 80 个输入 token 命中缓存,20 个生成 token 用于推理,报告的合计是 350。缓存与推理属于细分,不能再加一次。中文字符数也不能直接当作 token 数。汇总成本时使用实际用量和相应计费分类,并记录用量缺失的请求。

下一课预告

下一课将继续处理模型输出,学习如何约束结构、校验字段并在解析失败时安全重试。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设置生成参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通