游戏 AI / 系统课时
高并发下生成请求怎么限流
高并发下生成请求怎么限流
生成请求比普通接口更昂贵,也更容易被突发流量拖垮。本节把请求队列、并发上限、优先级和预算控制组合成一层生成调度器,让玩家集中触发内容生成时,系统仍能控制等待时间、模型并发数和成本。
学习目标
- 区分排队上限、并发上限、优先级和预算控制的职责
- 设计“先准入、再排队、后执行”的生成调度路径
- 用可执行模拟验证队列满、预算不足和优先级调度行为
先限制进入系统的请求,而不是无限排队
高并发问题通常不是模型“突然变慢”,而是入口没有背压:玩家请求持续进入,服务端不断堆积 Future、线程、HTTP 连接和待执行任务。即使模型最终能处理完,玩家也可能已经等待几十秒。
因此生成接口需要两层上限。第一层是排队上限,决定系统最多接受多少尚未执行的任务;第二层是并发上限,决定同一时间真正调用模型的任务数。队列满时应快速拒绝、降级或返回稍后重试,而不是继续占用内存。
并发上限不要只看 CPU。外部模型通常受供应商 QPS、账户配额、连接池和单请求成本共同限制。最稳妥的做法是从较小值开始,根据 P95 延迟、429 比例和预算消耗逐步调大。
四个控制器要一起工作
一套可运营的生成调度器通常包含四个控制点:入口准入、有限队列、优先级、预算。它们解决的是不同问题,缺一项都可能在高峰期失控。

| 控制点 | 主要目的 | 典型过载行为 |
|---|---|---|
| 队列上限 | 防止内存与等待时间无限增长 | 满了就拒绝或降级 |
| 并发上限 | 保护模型配额和连接资源 | 只允许固定数量在执行 |
| 优先级 | 让实时玩家请求先于后台预生成 | 低优先级任务延后 |
| 预算控制 | 限制单位时间或活动周期成本 | 预算不足时不再准入 |
优先级不能等同于“VIP 永远插队”。更常见的划分是实时交互高于后台预生成,战斗内短文本高于非关键装饰内容。还要防止低优先级长期饥饿,例如为后台任务保留少量配额。
用可执行模拟验证调度规则
下面的 Java 17 程序是一个调度策略模拟器。它不真实调用模型,而是验证四件事:队列最多接收 5 个任务;每轮最多执行 2 个;高优先级先执行;预算不足的任务不会进入执行阶段。生产环境可以把 dispatch 替换为线程池或异步 HTTP 调用。
import java.util.ArrayList;
import java.util.Comparator;
import java.util.List;
import java.util.PriorityQueue;
public class GenerationLimiterDemo {
record Request(String id, int priority, int estimatedCost) {}
static class Scheduler {
private final int maxQueue;
private final int maxConcurrent;
private int budget;
private final PriorityQueue<Request> queue =
new PriorityQueue<>(
Comparator.comparingInt(Request::priority).reversed()
.thenComparing(Request::id)
);
Scheduler(int maxQueue, int maxConcurrent, int budget) {
this.maxQueue = maxQueue;
this.maxConcurrent = maxConcurrent;
this.budget = budget;
}
String submit(Request request) {
if (queue.size() >= maxQueue) {
return request.id() + " -> REJECT_QUEUE_FULL";
}
queue.add(request);
return request.id() + " -> QUEUED";
}
List<String> dispatch() {
List<String> result = new ArrayList<>();
int executed = 0;
while (executed < maxConcurrent && !queue.isEmpty()) {
Request request = queue.poll();
if (request.estimatedCost() > budget) {
result.add(request.id() + " -> REJECT_BUDGET");
continue;
}
budget -= request.estimatedCost();
executed++;
result.add(request.id() + " -> EXECUTE, budget=" + budget);
}
return result;
}
}
public static void main(String[] args) {
Scheduler scheduler = new Scheduler(5, 2, 7);
System.out.println(scheduler.submit(new Request("bg-1", 1, 3)));
System.out.println(scheduler.submit(new Request("player-1", 10, 4)));
System.out.println(scheduler.submit(new Request("player-2", 10, 4)));
System.out.println(scheduler.submit(new Request("bg-2", 1, 2)));
System.out.println(scheduler.submit(new Request("player-3", 8, 2)));
System.out.println(scheduler.submit(new Request("overflow", 5, 1)));
scheduler.dispatch().forEach(System.out::println);
scheduler.dispatch().forEach(System.out::println);
}
}预期输出:
bg-1 -> QUEUED
player-1 -> QUEUED
player-2 -> QUEUED
bg-2 -> QUEUED
player-3 -> QUEUED
overflow -> REJECT_QUEUE_FULL
player-1 -> EXECUTE, budget=3
player-2 -> REJECT_BUDGET
player-3 -> EXECUTE, budget=1
bg-1 -> REJECT_BUDGET
bg-2 -> REJECT_BUDGET可以看到,队列在第 6 个请求进入时立即拒绝;高优先级请求优先出队;预算不足后,请求不会继续执行。示例中的“并发上限 2”用每轮最多调度两个任务来模拟,真实系统中应由固定大小线程池、信号量或异步连接池承担这个约束。
过载时要明确选择“等、拒绝还是降级”
每个入口都应提前定义过载策略。实时玩家交互如果预计等待已经超过可接受阈值,通常比“继续排队”更适合直接回退到缓存或规则内容。后台预生成任务则可以继续排队,甚至暂停到低峰期再执行。
不要把重试当作默认解决方案。429 或超时发生后,如果所有实例立即重试,会把瞬时拥塞放大成重试风暴。至少要使用指数退避和随机抖动,并把重试后的请求重新纳入同一套并发与预算限制,而不是绕过限流器。
用指标反推限流参数
上线后至少观察队列深度、当前 in-flight 数、P95/P99 延迟、模型 429 比例、超时比例、单位请求成本和回退比例。队列长期接近上限,说明系统处理能力不足;in-flight 不高但 429 很多,通常说明供应商侧配额更紧;成本先于并发触顶,则预算门禁应该更早介入。
限流参数不是越大越好。稳定目标应该是:高峰期仍有明确的准入边界,实时请求等待时间有上限,后台任务不会抢光资源,成本也不会因为一次活动或异常流量失控。