大模型原理与训练 / 系统课时

用模型路由承接多规格请求

用模型路由承接多规格请求

同一个推理入口常同时承接长上下文、高优先级和低成本批任务。本篇把路由规则拆成可执行条件,并用回退与熔断处理实例池异常,使请求在质量、容量和成本之间得到可解释的去向。

学习目标

  • 根据模型版本、上下文长度、优先级和成本预算筛选实例池。
  • 区分正常路由、模型回退与熔断转移,避免静默降级。
  • 用可重复的测试请求验证路由策略的关键边界。

把路由问题变成约束筛选

路由器不应只做“随机挑一台机器”。它首先读取请求元数据,再把请求与实例池能力逐项匹配。最少要显式建模四类约束:首选模型版本、prompt_tokens + max_new_tokens 的上下文需求、请求优先级,以及租户允许的成本等级。

实例池也要暴露可比较的能力,例如模型版本、最大上下文、成本等级、允许的优先级和健康状态。这样路由结果才能解释为“满足哪些条件后被选中”,而不是散落在多个 if 分支里的隐含规则。

维度 请求侧含义 实例池侧能力
模型版本 首选版本与是否允许回退 当前加载的模型版本
上下文长度 Prompt 与最大生成长度之和 可承载的最大 token 数
优先级 high、normal、low 等服务等级 接受哪些优先级
成本 租户可接受的成本上限 单次路由的成本等级
健康状态 不直接指定 是否可接流量

模型路由的筛选、回退与熔断链路

用一个确定性策略实现路由

下面的示例先筛掉上下文、优先级、成本和健康状态不满足的池,再优先选择首选模型;只有请求允许回退且同版本池不可用时,才考虑其他模型。示例中的 healthy 用来模拟熔断器对实例池可用性的判断。

python
from dataclasses import dataclass
from typing import FrozenSet

@dataclass(frozen=True)
class Pool:
    name: str
    model: str
    max_context: int
    unit_cost: int
    priorities: FrozenSet[str]
    healthy: bool = True

@dataclass(frozen=True)
class Request:
    request_id: str
    preferred_model: str
    prompt_tokens: int
    max_new_tokens: int
    priority: str
    max_unit_cost: int
    allow_fallback: bool

def route(req: Request, pools: list[Pool]) -> str:
    total_tokens = req.prompt_tokens + req.max_new_tokens

    def usable(pool: Pool) -> bool:
        return (
            pool.healthy
            and total_tokens <= pool.max_context
            and req.priority in pool.priorities
            and pool.unit_cost <= req.max_unit_cost
        )

    exact = [p for p in pools if usable(p) and p.model == req.preferred_model]
    if exact:
        return min(exact, key=lambda p: (p.unit_cost, p.max_context)).name

    if req.allow_fallback:
        fallback = [p for p in pools if usable(p)]
        if fallback:
            return min(fallback, key=lambda p: (p.unit_cost, p.max_context)).name

    return "NO_ROUTE"

pools = [
    Pool("premium-v2", "v2", 131072, 3, frozenset({"high", "normal"})),
    Pool("standard-v2", "v2", 32768, 2, frozenset({"high", "normal", "low"})),
    Pool("recovery-v1", "v1", 65536, 2, frozenset({"high", "normal"})),
    Pool("economy-v1", "v1", 32768, 1, frozenset({"normal", "low"})),
]

requests = [
    Request("req-high", "v2", 60000, 4000, "high", 3, True),
    Request("req-batch", "v2", 9000, 1000, "low", 1, True),
]

for req in requests:
    print(f"{req.request_id} -> {route(req, pools)}")

# 模拟 premium-v2 被熔断后,长上下文高优请求走恢复池。
pools[0] = Pool(
    "premium-v2", "v2", 131072, 3, frozenset({"high", "normal"}), healthy=False
)
retry = Request("req-fallback", "v2", 60000, 4000, "high", 3, True)
print(f"{retry.request_id} -> {route(retry, pools)}")

预期输出

text
req-high -> premium-v2
req-batch -> economy-v1
req-fallback -> recovery-v1

第一条请求只有长上下文池能承接,因此进入 premium-v2;第二条受成本上限约束,只能回退到低成本 economy-v1;第三条在首选长上下文池被熔断后进入 recovery-v1。

把回退与熔断设计成显式状态

回退解决“没有合适的首选池”,例如预算不足、首选版本无容量或长上下文池已满。回退到旧模型时,响应中应记录实际服务模型和降级标记,调用方才能知道质量语义发生了变化。对明确要求固定模型版本的请求,应设置 allow_fallback=false,宁可返回不可服务,也不要静默换模型。

熔断解决“某个池暂时不可信”。生产环境通常根据连续错误、超时比例或健康检查维护关闭、打开和半开状态,而不是某次失败后永久摘除。路由器只消费熔断状态;状态统计应由独立的健康与故障策略负责。

验证真正会出错的边界

上线前至少覆盖四类请求:恰好达到上下文上限、超过上限一个 token、预算低于所有候选池、首选池熔断且回退池可用。还要检查高优请求不会被低成本批任务挤占保留容量,并确认无可用池时返回明确的不可路由结果,而不是无限重试。

模型路由的核心不是“多写几个分支”,而是把请求约束、实例能力、健康状态和降级语义都变成可观察的数据。只有路由结果可解释、回退可追踪、熔断可恢复,多规格请求才适合共享同一个服务入口。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用模型路由承接多规格请求

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通