API 设计 / 系统课时
实施并发控制与背压
实施并发控制与背压
GraphQL 的单个请求可能并行触发多个 resolver,再扇出到数据库、缓存和上游 HTTP 服务。没有并发上限时,入口 QPS 只增加一点就可能把下游连接池和线程池压满。本篇用“限并发、有限排队、超时取消、快速拒绝”建立可控的背压链路。
学习目标
- 区分并发上限、队列长度、超时与快速拒绝各自解决的问题
- 实现一个有界 GraphQL 请求准入控制器
- 用指标判断应该排队、降载还是扩容
先控制入口,再控制扇出
入口并发限制决定“同时允许多少个 GraphQL 请求执行”,有界队列决定“峰值时最多等多少个”,超时决定“一个占槽请求最多活多久”。三者必须同时存在:只有并发限制但队列无限,会把延迟和内存推高;只有超时没有限流,会在超时之前先压垮数据库。

GraphQL 还需要第二层“资源隔离”。例如数据库连接池只有 30 个连接,即使入口允许 100 个请求同时执行,也不应让 100 个 resolver 同时争抢数据库;可以为数据库、搜索服务、支付服务分别设置独立 semaphore 或 bulkhead,避免一个慢上游拖死所有请求。
实现有界准入控制器
下面是无第三方依赖的 Node.js 示例。它允许最多 2 个请求并发、1 个请求排队;额外请求立即拒绝。每个已准入任务还有 100 ms deadline,用于释放被慢请求长期占用的并发槽。
class BusyError extends Error {
constructor() {
super("queue is full");
this.name = "BusyError";
}
}
class TimeoutError extends Error {
constructor() {
super("request deadline exceeded");
this.name = "TimeoutError";
}
}
class AdmissionController {
constructor(limit, maxQueue) {
this.limit = limit;
this.maxQueue = maxQueue;
this.active = 0;
this.queue = [];
}
run(task) {
if (this.active >= this.limit && this.queue.length >= this.maxQueue) {
return Promise.reject(new BusyError());
}
return new Promise((resolve, reject) => {
this.queue.push({ task, resolve, reject });
this.#drain();
});
}
#drain() {
while (this.active < this.limit && this.queue.length > 0) {
const item = this.queue.shift();
this.active++;
Promise.resolve()
.then(item.task)
.then(item.resolve, item.reject)
.finally(() => {
this.active--;
this.#drain();
});
}
}
}
function withTimeout(task, timeoutMs) {
const controller = new AbortController();
const timer = setTimeout(() => controller.abort(), timeoutMs);
return task(controller.signal)
.finally(() => clearTimeout(timer));
}
function mockGraphQLRequest(id, workMs, signal) {
return new Promise((resolve, reject) => {
const timer = setTimeout(() => resolve(`${id}:200`), workMs);
signal.addEventListener("abort", () => {
clearTimeout(timer);
reject(new TimeoutError());
}, { once: true });
});
}
const admission = new AdmissionController(2, 1);
const specs = [["A", 120], ["B", 180], ["C", 40], ["D", 20]];
const results = await Promise.all(
specs.map(([id, workMs]) =>
admission
.run(() => withTimeout(
(signal) => mockGraphQLRequest(id, workMs, signal),
100
))
.catch((error) => `${id}:${error.name}`)
)
);
console.log(results);预期输出为:
[ 'A:TimeoutError', 'B:TimeoutError', 'C:200', 'D:BusyError' ]这里 A、B 先占满两个槽位,C 进入唯一的等待位,D 因队列已满立即被拒绝。A、B 在 100 ms deadline 到达后释放槽位,C 随后获得执行机会并完成。真实 GraphQL HTTP 层可把 BusyError 映射为 429 或 503;已经进入 GraphQL 执行阶段的 resolver 超时则更适合返回带稳定 extensions.code 的 GraphQL error,并尽可能把取消信号继续传给数据库或 HTTP 客户端。
用容量而不是感觉设阈值
并发上限应从最紧缺的下游资源反推。例如数据库连接池 30 个连接,而一次 GraphQL 请求高峰期平均会同时占用 2 个数据库操作,那么入口允许 30 个请求并发通常已经过高。先给数据库访问单独设更小的并发阈值,再通过压测逐步提高入口上限。
排队长度也不应按“能放多少内存”来定。Little 定律给出关系 :平均队列长度 约等于到达率 乘平均等待时间 。当队列增长只是在把 p95/p99 延迟推到 SLA 之外时,快速拒绝比继续排队更健康,因为客户端还能重试、降级或切换缓存结果。
用四类指标闭环验证
上线后重点观察 active、queue depth、reject rate、timeout rate,并与数据库连接池占用率和 p95/p99 延迟对齐。健康的背压系统在突发流量下会出现短暂排队或少量拒绝,但下游资源不会长期打满,延迟也会在峰值过去后快速恢复。
如果拒绝率持续升高而下游仍有大量余量,阈值可能过保守;如果几乎不拒绝但超时率、连接池等待和尾延迟同时上升,说明背压发生得太晚。目标不是“零拒绝”,而是在过载时主动牺牲少量请求,保护整体吞吐与可恢复性。