大模型应用开发 / 系统课时

识别拒答与截断

识别拒答与截断

同样是“没有得到目标内容”,安全拒答、长度截断和调用异常的处理方式完全不同。本节建立一个统一响应分流规则,并用可运行示例把三类状态映射为明确动作:结束、续写或重试。

学习目标

  • 根据响应状态区分拒答、截断和调用异常。
  • 为不同失败类型选择停止、续写或重试策略。
  • 避免把拒答当网络故障重试,也避免把截断结果误当完整答案。

先按状态分流,而不是先读正文

不同模型 SDK 的字段名并不完全一致,但应用层最好先归一化为少量稳定状态。例如:completed 表示正常完成,refusal 表示安全拒答,length 表示因输出长度限制而停止,error 表示调用失败。

模型响应状态到处理策略的决策流程

这一步的关键不是猜测正文语气,而是优先使用响应中的结构化状态。仅凭“抱歉”“无法协助”等文本判断拒答并不可靠,因为这些词也可能出现在正常内容里。

用统一处理器映射动作

下面示例模拟应用已经把供应商响应归一化后的结果。处理器只负责根据状态决定下一步,不耦合具体 SDK。

python
def decide_action(response):
    status = response.get("status")
    if status == "completed":
        return "ACCEPT"
    if status == "refusal":
        return "STOP_AND_RECORD"
    if status == "length":
        return "CONTINUE_OR_REASK_SHORTER"
    if status == "error":
        return "RETRY_IF_TRANSIENT"
    return "FAIL_UNKNOWN_STATUS"

samples = [
    {"status": "completed"},
    {"status": "refusal"},
    {"status": "length"},
    {"status": "error"},
]

for item in samples:
    print(item["status"], "->", decide_action(item))

预期输出

text
completed -> ACCEPT
refusal -> STOP_AND_RECORD
length -> CONTINUE_OR_REASK_SHORTER
error -> RETRY_IF_TRANSIENT

三类异常分别怎么处理

安全拒答通常意味着模型明确不提供某类内容。应用应记录拒答状态和可公开的原因,向用户给出合适提示,并停止无意义的自动重试。连续换措辞规避拒答不仅浪费调用次数,也可能破坏安全边界。

长度截断意味着已经生成的内容可能只是前半段。不要直接进入 JSON 解析或业务执行;应先判断协议是否允许续写。自由文本可以携带末尾上下文继续生成,严格 JSON 则通常更适合重新请求更短、更受约束的结果,因为简单拼接两段 JSON 容易得到无效结构。

调用异常则需要继续细分。超时、连接中断、限流等瞬时错误可以按策略重试;认证失败、请求参数错误等确定性错误应立即失败并修正调用。重试时使用最大次数和退避间隔,避免故障期间形成请求风暴。

先处理状态,再处理内容

推荐固定顺序:先确认调用是否成功,再判断是否拒答或截断,只有确认是完整正常响应后,才进入解析、字段校验和业务处理。这样可以避免把半截 JSON 误判成格式错误,也能让监控准确区分模型行为和基础设施故障。

只要把“状态识别”和“内容解析”分成两个阶段,后续无论更换模型供应商还是调整重试策略,业务层都能保持稳定。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

识别拒答与截断

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通