大模型应用开发 / 系统课时
设计模型路由
设计模型路由
同一套大模型应用里,不同请求对推理能力、响应时间和成本的要求并不相同。模型路由的目标,是先用可解释的规则判断任务难度和业务约束,再把请求分配给合适的模型档位,在质量达标的前提下避免所有请求都走最贵、最慢的模型。
学习目标
- 用任务难度、时延预算和成本预算定义模型选择条件。
- 实现一个可测试的基础路由器,并保留兜底路径。
- 通过线上指标验证路由是否真正降低成本且不损害质量。
先把路由条件变成可判定信号
路由规则应来自可观测信号,而不是“感觉这个问题很难”。常见输入包括提示词长度、是否需要代码推理、是否要求结构化输出、是否包含工具调用、用户等级、最大可接受时延以及单次请求成本上限。
最简单的策略可以是两级路由:轻量任务走低成本模型,复杂任务走高能力模型。随着业务成熟,再加入中间档位、专用模型或领域模型。规则越复杂,越需要保持可解释,否则线上出现质量波动时很难定位原因。

实现一个最小可用路由器
下面的示例把路由逻辑与具体模型调用分离。这样可以单独测试规则,而不需要真的请求模型。示例使用三个输入:字符长度、是否需要工具调用、时延预算。
from dataclasses import dataclass
@dataclass
class RequestProfile:
prompt_chars: int
needs_tools: bool
latency_budget_ms: int
def route_model(profile: RequestProfile) -> str:
# 工具调用或长上下文优先选择高能力模型。
if profile.needs_tools or profile.prompt_chars > 4000:
return "high-capability"
# 紧时延预算优先轻量模型。
if profile.latency_budget_ms <= 1200:
return "fast-low-cost"
return "balanced"
if __name__ == "__main__":
cases = [
RequestProfile(800, False, 900),
RequestProfile(5200, False, 3000),
RequestProfile(1200, True, 2500),
]
for case in cases:
print(route_model(case))预期输出
fast-low-cost
high-capability
high-capability这些名称只是路由层内部的能力标签,不绑定某个具体厂商。生产环境通常再由配置文件把标签映射到实际模型 ID,这样切换供应商或版本时不必改业务代码。
给轻量路径设计升级机制
静态规则一定会误判,因此路由不能只考虑“第一次选哪个模型”,还要定义“什么时候升级”。常见做法是让轻量模型先处理请求,如果结构化输出校验失败、置信度低、工具参数不合法,或业务质量检测不通过,再升级到高能力模型。
升级条件应尽量依赖机器可判断的信号。例如 JSON Schema 校验、函数参数校验、答案是否引用到检索证据、分类概率是否低于阈值。不要仅凭输出更长或措辞更复杂来判断质量。
片段示例:下面代码依赖上一节已经定义的 RequestProfile 和 route_model,用于演示首次结果未通过校验时的升级逻辑。
def choose_with_fallback(profile, first_result_ok):
primary = route_model(profile)
# 轻量或平衡模型失败时升级;高能力模型失败则交给业务错误处理。
if not first_result_ok and primary != "high-capability":
return primary, "high-capability"
return primary, None
profile = RequestProfile(600, False, 1800)
print(choose_with_fallback(profile, first_result_ok=False))预期输出
('balanced', 'high-capability')升级会增加一次额外调用,因此必须监控升级率。如果大量请求都会升级,说明前置路由规则过于激进,或者轻量模型不适合当前任务。
用质量、时延和成本一起验收
路由优化不能只看平均价格下降。至少要同时记录模型选择比例、请求成功率、业务质量指标、P50/P95 时延、单请求成本和升级率。只有质量保持在目标线以上,同时成本或时延得到改善,路由才算有效。
可以用一个简单的决策原则约束上线:先定义最低质量门槛,再在满足质量门槛的方案中比较成本和时延。对于高风险任务,例如关键业务决策、复杂代码修改或多工具链执行,可以直接设置强制高能力模型,不必为了节省少量成本进行试探性降级。
避免把路由器变成黑盒
规则型路由适合起步,因为每次选择都能解释。后续即使引入分类模型或学习型路由,也应保留路由原因、输入特征、最终模型、是否升级和结果指标,方便回放与评估。
稳定的模型路由不是“永远选最便宜的模型”,而是让每个请求在质量约束下使用足够而不过度的能力。先用少量清晰规则上线,再根据真实分布调整阈值,通常比一次设计复杂策略更容易得到可靠收益。