大模型应用开发 / 系统课时

设计模型路由

设计模型路由

同一套大模型应用里,不同请求对推理能力、响应时间和成本的要求并不相同。模型路由的目标,是先用可解释的规则判断任务难度和业务约束,再把请求分配给合适的模型档位,在质量达标的前提下避免所有请求都走最贵、最慢的模型。

学习目标

  • 用任务难度、时延预算和成本预算定义模型选择条件。
  • 实现一个可测试的基础路由器,并保留兜底路径。
  • 通过线上指标验证路由是否真正降低成本且不损害质量。

先把路由条件变成可判定信号

路由规则应来自可观测信号,而不是“感觉这个问题很难”。常见输入包括提示词长度、是否需要代码推理、是否要求结构化输出、是否包含工具调用、用户等级、最大可接受时延以及单次请求成本上限。

最简单的策略可以是两级路由:轻量任务走低成本模型,复杂任务走高能力模型。随着业务成熟,再加入中间档位、专用模型或领域模型。规则越复杂,越需要保持可解释,否则线上出现质量波动时很难定位原因。

基于难度时延和成本约束的模型路由流程

实现一个最小可用路由器

下面的示例把路由逻辑与具体模型调用分离。这样可以单独测试规则,而不需要真的请求模型。示例使用三个输入:字符长度、是否需要工具调用、时延预算。

python
from dataclasses import dataclass

@dataclass
class RequestProfile:
    prompt_chars: int
    needs_tools: bool
    latency_budget_ms: int

def route_model(profile: RequestProfile) -> str:
    # 工具调用或长上下文优先选择高能力模型。
    if profile.needs_tools or profile.prompt_chars > 4000:
        return "high-capability"

    # 紧时延预算优先轻量模型。
    if profile.latency_budget_ms <= 1200:
        return "fast-low-cost"

    return "balanced"

if __name__ == "__main__":
    cases = [
        RequestProfile(800, False, 900),
        RequestProfile(5200, False, 3000),
        RequestProfile(1200, True, 2500),
    ]
    for case in cases:
        print(route_model(case))

预期输出

text
fast-low-cost
high-capability
high-capability

这些名称只是路由层内部的能力标签,不绑定某个具体厂商。生产环境通常再由配置文件把标签映射到实际模型 ID,这样切换供应商或版本时不必改业务代码。

给轻量路径设计升级机制

静态规则一定会误判,因此路由不能只考虑“第一次选哪个模型”,还要定义“什么时候升级”。常见做法是让轻量模型先处理请求,如果结构化输出校验失败、置信度低、工具参数不合法,或业务质量检测不通过,再升级到高能力模型。

升级条件应尽量依赖机器可判断的信号。例如 JSON Schema 校验、函数参数校验、答案是否引用到检索证据、分类概率是否低于阈值。不要仅凭输出更长或措辞更复杂来判断质量。

片段示例:下面代码依赖上一节已经定义的 RequestProfile 和 route_model,用于演示首次结果未通过校验时的升级逻辑。

python
def choose_with_fallback(profile, first_result_ok):
    primary = route_model(profile)

    # 轻量或平衡模型失败时升级;高能力模型失败则交给业务错误处理。
    if not first_result_ok and primary != "high-capability":
        return primary, "high-capability"

    return primary, None

profile = RequestProfile(600, False, 1800)
print(choose_with_fallback(profile, first_result_ok=False))

预期输出

text
('balanced', 'high-capability')

升级会增加一次额外调用,因此必须监控升级率。如果大量请求都会升级,说明前置路由规则过于激进,或者轻量模型不适合当前任务。

用质量、时延和成本一起验收

路由优化不能只看平均价格下降。至少要同时记录模型选择比例、请求成功率、业务质量指标、P50/P95 时延、单请求成本和升级率。只有质量保持在目标线以上,同时成本或时延得到改善,路由才算有效。

可以用一个简单的决策原则约束上线:先定义最低质量门槛,再在满足质量门槛的方案中比较成本和时延。对于高风险任务,例如关键业务决策、复杂代码修改或多工具链执行,可以直接设置强制高能力模型,不必为了节省少量成本进行试探性降级。

避免把路由器变成黑盒

规则型路由适合起步,因为每次选择都能解释。后续即使引入分类模型或学习型路由,也应保留路由原因、输入特征、最终模型、是否升级和结果指标,方便回放与评估。

稳定的模型路由不是“永远选最便宜的模型”,而是让每个请求在质量约束下使用足够而不过度的能力。先用少量清晰规则上线,再根据真实分布调整阈值,通常比一次设计复杂策略更容易得到可靠收益。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计模型路由

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通