AI Agent / 系统课时
设置生成参数
设置生成参数
本课解决生成参数难以选择的问题:先明确每个参数控制什么,再为抽取、问答和创作任务建立可复用的起始配置,并通过截断、格式和重复度验证结果是否符合预期。
学习目标
- 理解温度、采样范围、最大输出和停止条件的作用
- 根据任务确定一组可测试的起始参数
- 识别截断、过度随机和停止条件误触发
参数不是越多越好
温度调整 token 概率分布的集中程度。对支持该参数的模型,较高值通常增加多样性。top_p 从按概率排序后累计概率达到阈值的候选 token 集合中采样。优先只调其中一项。
| 参数 | Chat Completions 中的作用 | 验证重点 |
|---|---|---|
temperature |
控制采样分布 | 降低温度不能保证可复现或事实正确 |
top_p |
控制按累计概率选入的候选范围 | 不等于固定保留前若干个候选 |
max_completion_tokens |
限制可见输出和推理 token 的总生成预算 | 预算不等于实际生成量 |
stop |
支持该参数的模型遇到指定文本后提前结束 | 结束字符串不会出现在输出中,常见正文也可能误触发 |
Responses API 的生成预算字段是 max_output_tokens。Chat Completions 此处使用 max_completion_tokens。同一端点不同模型也可能不支持相同的采样或停止参数。以选定模型和供应商的参数清单为准,只传支持的可选项。
按任务选择起始配置
先在目标模型上建立可复测的基线。默认不传采样参数,以同一组输入测结构通过率和输出质量,再调整一个变量。需要严格结构时,优先用下一课的输出 Schema 和本地校验。
| 任务 | 第一次实验的生成预算示例 | 验收重点 |
|---|---|---|
| 短字段抽取 | 300 | 字段和枚举正确,能区分拒绝与截断 |
| 有引用的问答 | 800 | 回答有依据,引用和事实匹配 |
| 创意生成 | 1200 | 内容多样,仍满足业务规则和篇幅 |
以上是课堂实验值。推理模型可能为推理消耗部分预算。较长输入还会占用模型上下文,输入规模与生成预算应一起检查。
用代码集中管理参数
下面的函数返回请求体中的可选配置。只有查明目标模型支持温度后,才传入经过实验的温度值。运行示例无需访问模型。
def chat_options(max_completion_tokens, *, temperature=None, supports_temperature=False):
if type(max_completion_tokens) is not int or max_completion_tokens < 1:
raise ValueError("max_completion_tokens must be a positive integer")
options = {"max_completion_tokens": max_completion_tokens}
if temperature is not None:
if not supports_temperature:
raise ValueError("temperature is unavailable on this model")
if type(temperature) not in (int, float) or not 0 <= temperature <= 2:
raise ValueError("temperature is outside the Chat Completions range")
options["temperature"] = temperature
return options
if __name__ == "__main__":
print(chat_options(300))
print(chat_options(800, temperature=0.5, supports_temperature=True))预期输出
{'max_completion_tokens': 300}
{'max_completion_tokens': 800, 'temperature': 0.5}将配置合并到前一章构造的 Chat Completions JSON 请求体。还应核对目标模型的上下文窗口和单次输出限制。此处的代码校验类型和通用范围,具体端点可再施加更严格的限制。
验证参数是否生效
参数验证不能只看一次输出。对同一组代表性输入重复运行,检查格式成功率、事实错误率、平均长度和响应结束原因。结构化任务重点观察字段是否稳定;创意任务则关注内容差异是否增加,同时仍满足禁用词、篇幅和格式限制。
Chat Completions 响应中,按 choices[i].finish_reason 判断该候选结果。length 表示生成触及长度上限,应先判断请求是否要求过多内容,再决定缩短输入或调整生成预算。stop 可能是自然停止,也可能是命中自定义结束序列。tool_calls 表示还有工具处理步骤。记录模型、实际发送的配置和结束原因,便于重现测试。
读取实际 Token 用量
Chat Completions 的 usage.prompt_tokens 与 usage.completion_tokens 分别是输入和生成用量,usage.total_tokens 是合计。若细分字段可用,prompt_tokens_details.cached_tokens 及 completion_tokens_details.reasoning_tokens 已包含在对应总项中。流式模式的用量回报要另外启用,详见流式响应一课。
例如一次调用报告 300 个输入 token、50 个生成 token,其中 80 个输入 token 命中缓存,20 个生成 token 用于推理,报告的合计是 350。缓存与推理属于细分,不能再加一次。中文字符数也不能直接当作 token 数。汇总成本时使用实际用量和相应计费分类,并记录用量缺失的请求。
下一课预告
下一课将继续处理模型输出,学习如何约束结构、校验字段并在解析失败时安全重试。