游戏 AI / 系统课时

高并发下生成请求怎么限流

高并发下生成请求怎么限流

生成请求比普通接口更昂贵,也更容易被突发流量拖垮。本节把请求队列、并发上限、优先级和预算控制组合成一层生成调度器,让玩家集中触发内容生成时,系统仍能控制等待时间、模型并发数和成本。

学习目标

  • 区分排队上限、并发上限、优先级和预算控制的职责
  • 设计“先准入、再排队、后执行”的生成调度路径
  • 用可执行模拟验证队列满、预算不足和优先级调度行为

先限制进入系统的请求,而不是无限排队

高并发问题通常不是模型“突然变慢”,而是入口没有背压:玩家请求持续进入,服务端不断堆积 Future、线程、HTTP 连接和待执行任务。即使模型最终能处理完,玩家也可能已经等待几十秒。

因此生成接口需要两层上限。第一层是排队上限,决定系统最多接受多少尚未执行的任务;第二层是并发上限,决定同一时间真正调用模型的任务数。队列满时应快速拒绝、降级或返回稍后重试,而不是继续占用内存。

并发上限不要只看 CPU。外部模型通常受供应商 QPS、账户配额、连接池和单请求成本共同限制。最稳妥的做法是从较小值开始,根据 P95 延迟、429 比例和预算消耗逐步调大。

四个控制器要一起工作

一套可运营的生成调度器通常包含四个控制点:入口准入、有限队列、优先级、预算。它们解决的是不同问题,缺一项都可能在高峰期失控。

高并发生成请求的限流与调度链路

控制点 主要目的 典型过载行为
队列上限 防止内存与等待时间无限增长 满了就拒绝或降级
并发上限 保护模型配额和连接资源 只允许固定数量在执行
优先级 让实时玩家请求先于后台预生成 低优先级任务延后
预算控制 限制单位时间或活动周期成本 预算不足时不再准入

优先级不能等同于“VIP 永远插队”。更常见的划分是实时交互高于后台预生成,战斗内短文本高于非关键装饰内容。还要防止低优先级长期饥饿,例如为后台任务保留少量配额。

用可执行模拟验证调度规则

下面的 Java 17 程序是一个调度策略模拟器。它不真实调用模型,而是验证四件事:队列最多接收 5 个任务;每轮最多执行 2 个;高优先级先执行;预算不足的任务不会进入执行阶段。生产环境可以把 dispatch 替换为线程池或异步 HTTP 调用。

java
import java.util.ArrayList;
import java.util.Comparator;
import java.util.List;
import java.util.PriorityQueue;

public class GenerationLimiterDemo {
    record Request(String id, int priority, int estimatedCost) {}

    static class Scheduler {
        private final int maxQueue;
        private final int maxConcurrent;
        private int budget;
        private final PriorityQueue<Request> queue =
            new PriorityQueue<>(
                Comparator.comparingInt(Request::priority).reversed()
                    .thenComparing(Request::id)
            );

        Scheduler(int maxQueue, int maxConcurrent, int budget) {
            this.maxQueue = maxQueue;
            this.maxConcurrent = maxConcurrent;
            this.budget = budget;
        }

        String submit(Request request) {
            if (queue.size() >= maxQueue) {
                return request.id() + " -> REJECT_QUEUE_FULL";
            }
            queue.add(request);
            return request.id() + " -> QUEUED";
        }

        List<String> dispatch() {
            List<String> result = new ArrayList<>();
            int executed = 0;

            while (executed < maxConcurrent && !queue.isEmpty()) {
                Request request = queue.poll();

                if (request.estimatedCost() > budget) {
                    result.add(request.id() + " -> REJECT_BUDGET");
                    continue;
                }

                budget -= request.estimatedCost();
                executed++;
                result.add(request.id() + " -> EXECUTE, budget=" + budget);
            }
            return result;
        }
    }

    public static void main(String[] args) {
        Scheduler scheduler = new Scheduler(5, 2, 7);

        System.out.println(scheduler.submit(new Request("bg-1", 1, 3)));
        System.out.println(scheduler.submit(new Request("player-1", 10, 4)));
        System.out.println(scheduler.submit(new Request("player-2", 10, 4)));
        System.out.println(scheduler.submit(new Request("bg-2", 1, 2)));
        System.out.println(scheduler.submit(new Request("player-3", 8, 2)));
        System.out.println(scheduler.submit(new Request("overflow", 5, 1)));

        scheduler.dispatch().forEach(System.out::println);
        scheduler.dispatch().forEach(System.out::println);
    }
}

预期输出:

text
bg-1 -> QUEUED
player-1 -> QUEUED
player-2 -> QUEUED
bg-2 -> QUEUED
player-3 -> QUEUED
overflow -> REJECT_QUEUE_FULL
player-1 -> EXECUTE, budget=3
player-2 -> REJECT_BUDGET
player-3 -> EXECUTE, budget=1
bg-1 -> REJECT_BUDGET
bg-2 -> REJECT_BUDGET

可以看到,队列在第 6 个请求进入时立即拒绝;高优先级请求优先出队;预算不足后,请求不会继续执行。示例中的“并发上限 2”用每轮最多调度两个任务来模拟,真实系统中应由固定大小线程池、信号量或异步连接池承担这个约束。

过载时要明确选择“等、拒绝还是降级”

每个入口都应提前定义过载策略。实时玩家交互如果预计等待已经超过可接受阈值,通常比“继续排队”更适合直接回退到缓存或规则内容。后台预生成任务则可以继续排队,甚至暂停到低峰期再执行。

不要把重试当作默认解决方案。429 或超时发生后,如果所有实例立即重试,会把瞬时拥塞放大成重试风暴。至少要使用指数退避和随机抖动,并把重试后的请求重新纳入同一套并发与预算限制,而不是绕过限流器。

用指标反推限流参数

上线后至少观察队列深度、当前 in-flight 数、P95/P99 延迟、模型 429 比例、超时比例、单位请求成本和回退比例。队列长期接近上限,说明系统处理能力不足;in-flight 不高但 429 很多,通常说明供应商侧配额更紧;成本先于并发触顶,则预算门禁应该更早介入。

限流参数不是越大越好。稳定目标应该是:高峰期仍有明确的准入边界,实时请求等待时间有上限,后台任务不会抢光资源,成本也不会因为一次活动或异常流量失控。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

高并发下生成请求怎么限流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通