大模型应用开发 / 系统课时

设置限流与配额

设置限流与配额

本节解决大模型应用在突发流量下如何避免单个用户、单个应用或高成本模型抢占全部资源。完成后,你会得到一套分层限流与配额方案,并能用代码验证并发门禁和用量扣减是否按预期工作。

学习目标

  • 区分并发限制、速率限制与周期配额各自解决的问题
  • 按用户、应用和模型三个维度组合限流策略
  • 在拒绝请求时返回可重试、可观测的明确结果

把流量控制拆成三类门禁

并发限制控制“同一时刻有多少请求正在占用模型资源”,适合保护连接池、推理槽位和流式连接;速率限制控制“单位时间允许进入多少请求”,适合削峰;周期配额控制“一个统计周期最多消耗多少资源”,适合限制请求数、Token 或金额。

三类规则不应互相替代。只设每分钟请求数,仍可能在同一秒涌入大量长连接;只设并发数,又无法阻止某个调用方全天持续占用容量。实际服务通常先做并发门禁,再做速率门禁,最后在调用模型前检查剩余配额。

用户、应用与模型三级限流门禁

组合用户、应用和模型规则

一个请求可能同时命中三组策略。例如用户 u-42 的并发上限是 2,应用 support-bot 是 20,而模型 reasoning-model 是 8,那么这个请求必须同时满足三项条件;任意一项达到上限都应拒绝或排队。

配额也应使用同样的分层思路。用户可以有每日 Token 上限,应用可以有月度预算,模型可以有全局每分钟请求数。判断时不要把多个维度相加,而是分别检查,任何一个维度不足都应停止继续调用模型。

用最小实现验证并发与配额

下面的 Python 示例不依赖 Web 框架,直接模拟三个请求依次进入同一用户策略。它展示两个关键动作:进入前检查并发和剩余额度,完成后释放并发并扣减实际 Token。应用级和模型级规则可以复用同一检查方式,并在真正调用模型前全部通过。

python
from dataclasses import dataclass

@dataclass
class LimitState:
    concurrent: int
    max_concurrent: int
    used_tokens: int
    token_quota: int

def acquire(state: LimitState, estimated_tokens: int) -> tuple[bool, str]:
    # 并发门禁优先,避免请求先占用更多下游资源。
    if state.concurrent >= state.max_concurrent:
        return False, "concurrency_limit"
    if state.used_tokens + estimated_tokens > state.token_quota:
        return False, "quota_exceeded"
    state.concurrent += 1
    return True, "accepted"

def release(state: LimitState, actual_tokens: int) -> None:
    # 完成后按真实用量结算,并释放并发槽位。
    state.concurrent -= 1
    state.used_tokens += actual_tokens

user = LimitState(concurrent=1, max_concurrent=2, used_tokens=900, token_quota=1000)

ok1, reason1 = acquire(user, estimated_tokens=80)
ok2, reason2 = acquire(user, estimated_tokens=80)
print(ok1, reason1)
print(ok2, reason2)

if ok1:
    release(user, actual_tokens=60)

ok3, reason3 = acquire(user, estimated_tokens=80)
print(ok3, reason3)
print(user)

预期输出:

text
True accepted
False concurrency_limit
False quota_exceeded
LimitState(concurrent=1, max_concurrent=2, used_tokens=960, token_quota=1000)

第二个请求因为并发已达到 2 被拒绝;第一个请求完成后释放并发,但实际消耗 60 Token,使剩余额度只剩 40,因此第三个请求又被配额门禁拒绝。生产环境应把状态放到具备原子操作能力的共享存储中,避免多实例分别计数。

设计可重试的拒绝响应

限流拒绝建议使用 HTTP 429 Too Many Requests,同时返回稳定的机器可读错误码。速率限制可以提供 Retry-After;并发限制可以给出短暂重试时间;周期配额耗尽则通常不能通过立即重试解决,应返回配额恢复时间或升级提示。

json
{
  "error": {
    "code": "RATE_LIMITED",
    "message": "model concurrency limit reached",
    "retryAfterSeconds": 2
  }
}

这是响应结构片段示例,依赖实际 HTTP 服务返回。验证时应确认调用方能根据 code 区分“稍后重试”和“本周期额度已耗尽”,而不是把所有 429 都做无上限重试。

上线前检查关键边界

限流状态必须按稳定标识统计,用户维度不要直接相信客户端可伪造的 ID;流式请求应在连接真正结束后再释放并发;异常、超时和客户端断开也必须执行释放逻辑。对于分布式部署,还要保证计数、扣减和过期是原子的,并为策略命中率、拒绝原因和剩余配额建立监控。

真正有效的限流不是简单“挡住更多请求”,而是让不同用户、应用和模型都在明确的资源边界内运行,并让被拒绝的请求知道何时重试、为什么失败。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设置限流与配额

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通