大模型应用开发 / 系统课时

限制输出长度

限制输出长度

输出越长,生成耗时和费用通常越高,也更容易出现重复解释。本课从业务结果出发,为分类、提取和问答任务设置合理的结构、条数与长度上限,并说明请求侧限制和应用侧校验如何配合。

学习目标

  • 根据任务类型定义“足够完成业务”的输出范围
  • 组合结构约束、输出 Token 上限和停止条件
  • 区分请求侧限额与应用侧截断的作用边界

先定义够用的结果

限制长度之前,先明确调用结果将被谁消费。分类任务通常只需要一个标签,字段提取适合固定 JSON,操作建议可限制为三条步骤,面向用户的解释则应保留结论、依据和下一步。

“回答简短一些”很难稳定执行。更有效的要求是明确字段、条数、每条职责和禁止内容,例如“先给结论,再列三条原因,不复述问题,不追加背景资料”。

使用三层限制

第一层是结构限制,通过固定字段、列表条数或响应 Schema 减少自由发挥。第二层是在模型请求中设置最大输出 Token,防止异常长回答持续生成。第三层是在应用侧校验长度和字段,处理模型偶尔超出约束的情况。

应用侧截断只能保护页面和下游接口,不能退还已经生成的 Token。因此,真正降低生成成本时,请求侧上限必须存在;应用侧逻辑用于兜底,而不是替代模型参数。

主示例:应用侧执行条数与字符预算

下面的程序把候选要点整理为最多三条,并限制总正文字符数。它适合用作模型结果的最后一道校验;模型请求本身仍应设置对应的最大输出 Token。

python
from typing import Iterable, List

def bounded_answer(
    points: Iterable[str],
    max_points: int = 3,
    max_chars: int = 60,
) -> str:
    selected: List[str] = []
    used_chars = 0

    for point in points:
        normalized = point.strip().rstrip("。") + "。"

        # 同时检查条数和字符预算,避免生成结果进入下游后继续膨胀。
        if len(selected) >= max_points:
            break
        if used_chars + len(normalized) > max_chars:
            break

        selected.append(normalized)
        used_chars += len(normalized)

    return "\n".join(
        f"{index}. {point}"
        for index, point in enumerate(selected, start=1)
    )

def main() -> None:
    candidates = [
        "先给出可以直接执行的结论",
        "只保留三个关键步骤",
        "删除重复解释和无关背景",
        "附加更多行业发展资料",
    ]
    print(bounded_answer(candidates))

if __name__ == "__main__":
    main()

预期输出

text
1. 先给出可以直接执行的结论。
2. 只保留三个关键步骤。
3. 删除重复解释和无关背景。

字符预算适合保护界面和数据库字段,但它与 Token 不是同一单位。中文、英文、代码和标点的 Token 划分不同,模型请求仍应使用供应商提供的 Token 参数和 Tokenizer 进行验证。

设置输出上限的原则

输出上限应略高于正常答案所需长度,为字段名、标点和少量波动留出空间。上限过低会导致 JSON 未闭合、步骤缺失或结论被截断;上限过高则无法有效控制延迟和费用。

停止序列只适合格式边界明确的文本,例如遇到固定结束标记后停止。不要使用可能自然出现在正文中的常见词作为停止条件,否则答案可能提前终止。

按任务类型设计结构

分类任务可要求只返回允许集合中的一个值;抽取任务固定字段并禁止额外说明;摘要任务限制段落数和每段职责;客服问答可规定“结论、操作步骤、风险提示”三个部分。

结构越明确,模型越容易在较小预算内完成任务。对于需要长篇推理或代码生成的场景,应先拆成多个小步骤,而不是把一个极低上限强加给完整任务。

验证限制是否合理

测试时记录输出 Token、总延迟、截断率、格式校验失败率和人工可用率。若大量回答触及上限,通常说明预算过低或任务定义过宽;若输出长期远低于上限,可继续缩小预算。

对 JSON 或代码输出,还要检查闭合性和可解析性。发现截断时,应返回可识别的失败状态或重试更高预算,而不是把不完整结果直接交给下游。

本课总结

  • 长度限制应从业务结果出发,用明确结构替代“尽量简短”这类模糊指令
  • 请求侧 Token 上限负责控制生成成本,应用侧字符和格式校验负责兜底
  • 上限是否合理要通过截断率、格式成功率、延迟和可用率共同判断

下一课预告

下一课将把输入与输出优化组合起来,进一步讨论缓存、批处理和模型选择对整体成本与吞吐量的影响。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

限制输出长度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通