大模型应用开发 / 系统课时

设计降级策略

设计降级策略

降级不是简单地“失败后换个模型”。本篇要建立一条可验证的降级链:主模型不可用或过慢时依次尝试备用模型、确定性规则,最后才返回明确的友好提示,同时记录每次降级原因。

学习目标

  • 设计主模型、备用模型、规则结果和友好提示的降级顺序
  • 为每一级降级定义触发条件与质量边界
  • 通过可运行示例验证不同故障场景下的最终输出

先定义可接受的降级层级

常见顺序是主模型优先,主模型失败后切备用模型;若所有模型都不可用,只对少量确定性问题返回规则结果;仍无法可靠回答时,明确告知用户服务暂不可用并提供下一步动作。

大模型应用四级降级链

降级层级越靠后,能力通常越弱,因此必须同时降低承诺。备用模型可以继续生成开放式回答;规则结果只能处理预先定义的窄场景;友好提示则不应伪装成业务答案。

为每一级设定触发条件

层级 典型触发条件 输出要求
主模型 正常路径 完整回答
备用模型 主模型超时、限流或暂态 5xx 能力可下降,但语义仍需满足任务
规则结果 模型均不可用且问题命中确定规则 只返回可验证、低风险结果
友好提示 无可靠结果可返回 明确失败,不编造答案,并提供后续动作

不要用一个宽泛的 except Exception 把所有错误都静默吞掉。认证失败、配置错误等问题通常需要尽快暴露;只有预期内的暂态故障才适合触发自动降级。

用可运行脚本实现降级链

下面的示例用四种场景验证不同降级层级。主模型在非正常场景下故意超过局部超时,备用模型只在指定场景成功,因此可以直接观察主模型、备用模型、规则和友好提示四条路径。

python
import asyncio

class ServiceUnavailable(Exception):
    pass

async def primary_model(query: str, scenario: str) -> str:
    if scenario != "primary_ok":
        await asyncio.sleep(0.10)  # 模拟主模型响应过慢。
    else:
        await asyncio.sleep(0.01)
    return f"主模型回答:{query}"

async def backup_model(query: str, scenario: str) -> str:
    await asyncio.sleep(0.01)
    if scenario != "backup_ok":
        raise ServiceUnavailable("backup unavailable")
    return f"备用模型回答:{query}"

def rule_answer(query: str) -> str | None:
    # 规则只覆盖可以确定性回答的窄场景。
    if "退款" in query:
        return "可在订单详情页查看退款状态。"
    return None

async def answer(query: str, scenario: str) -> tuple[str, str]:
    try:
        text = await asyncio.wait_for(
            primary_model(query, scenario),
            timeout=0.05,
        )
        return "primary", text
    except TimeoutError:
        pass

    try:
        return "backup", await backup_model(query, scenario)
    except ServiceUnavailable:
        pass

    rule = rule_answer(query)
    if rule is not None:
        return "rule", rule

    return "friendly", "当前智能服务暂不可用,请稍后重试或转人工。"

async def main() -> None:
    cases = [
        ("如何修改地址", "primary_ok"),
        ("如何修改地址", "backup_ok"),
        ("如何查询退款状态", "all_models_fail"),
        ("解释量子力学", "all_models_fail"),
    ]
    for query, scenario in cases:
        source, text = await answer(query, scenario)
        print(f"{source}: {text}")

asyncio.run(main())

预期输出

text
primary: 主模型回答:如何修改地址
backup: 备用模型回答:如何修改地址
rule: 可在订单详情页查看退款状态。
friendly: 当前智能服务暂不可用,请稍后重试或转人工。

把降级做成可观测能力

每次返回结果都应附带内部可观测信息,例如 fallback_level、触发原因、下游耗时和最终是否成功。监控中一旦备用模型命中率突然升高,即使用户仍然能拿到答案,也说明主链路已经退化。

可用的降级策略不是一串 try/except,而是一份明确的质量契约:每一级知道何时接管、能回答到什么程度,以及什么时候必须停止生成并如实提示用户。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计降级策略

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通