API 设计 / 系统课时

实施并发控制与背压

实施并发控制与背压

GraphQL 的单个请求可能并行触发多个 resolver,再扇出到数据库、缓存和上游 HTTP 服务。没有并发上限时,入口 QPS 只增加一点就可能把下游连接池和线程池压满。本篇用“限并发、有限排队、超时取消、快速拒绝”建立可控的背压链路。

学习目标

  • 区分并发上限、队列长度、超时与快速拒绝各自解决的问题
  • 实现一个有界 GraphQL 请求准入控制器
  • 用指标判断应该排队、降载还是扩容

先控制入口,再控制扇出

入口并发限制决定“同时允许多少个 GraphQL 请求执行”,有界队列决定“峰值时最多等多少个”,超时决定“一个占槽请求最多活多久”。三者必须同时存在:只有并发限制但队列无限,会把延迟和内存推高;只有超时没有限流,会在超时之前先压垮数据库。

GraphQL 从入口准入到下游资源的并发控制与背压链路

GraphQL 还需要第二层“资源隔离”。例如数据库连接池只有 30 个连接,即使入口允许 100 个请求同时执行,也不应让 100 个 resolver 同时争抢数据库;可以为数据库、搜索服务、支付服务分别设置独立 semaphore 或 bulkhead,避免一个慢上游拖死所有请求。

实现有界准入控制器

下面是无第三方依赖的 Node.js 示例。它允许最多 2 个请求并发、1 个请求排队;额外请求立即拒绝。每个已准入任务还有 100 ms deadline,用于释放被慢请求长期占用的并发槽。

js
class BusyError extends Error {
  constructor() {
    super("queue is full");
    this.name = "BusyError";
  }
}

class TimeoutError extends Error {
  constructor() {
    super("request deadline exceeded");
    this.name = "TimeoutError";
  }
}

class AdmissionController {
  constructor(limit, maxQueue) {
    this.limit = limit;
    this.maxQueue = maxQueue;
    this.active = 0;
    this.queue = [];
  }

  run(task) {
    if (this.active >= this.limit && this.queue.length >= this.maxQueue) {
      return Promise.reject(new BusyError());
    }

    return new Promise((resolve, reject) => {
      this.queue.push({ task, resolve, reject });
      this.#drain();
    });
  }

  #drain() {
    while (this.active < this.limit && this.queue.length > 0) {
      const item = this.queue.shift();
      this.active++;

      Promise.resolve()
        .then(item.task)
        .then(item.resolve, item.reject)
        .finally(() => {
          this.active--;
          this.#drain();
        });
    }
  }
}

function withTimeout(task, timeoutMs) {
  const controller = new AbortController();
  const timer = setTimeout(() => controller.abort(), timeoutMs);

  return task(controller.signal)
    .finally(() => clearTimeout(timer));
}

function mockGraphQLRequest(id, workMs, signal) {
  return new Promise((resolve, reject) => {
    const timer = setTimeout(() => resolve(`${id}:200`), workMs);

    signal.addEventListener("abort", () => {
      clearTimeout(timer);
      reject(new TimeoutError());
    }, { once: true });
  });
}

const admission = new AdmissionController(2, 1);
const specs = [["A", 120], ["B", 180], ["C", 40], ["D", 20]];

const results = await Promise.all(
  specs.map(([id, workMs]) =>
    admission
      .run(() => withTimeout(
        (signal) => mockGraphQLRequest(id, workMs, signal),
        100
      ))
      .catch((error) => `${id}:${error.name}`)
  )
);

console.log(results);

预期输出为:

text
[ 'A:TimeoutError', 'B:TimeoutError', 'C:200', 'D:BusyError' ]

这里 A、B 先占满两个槽位,C 进入唯一的等待位,D 因队列已满立即被拒绝。A、B 在 100 ms deadline 到达后释放槽位,C 随后获得执行机会并完成。真实 GraphQL HTTP 层可把 BusyError 映射为 429 或 503;已经进入 GraphQL 执行阶段的 resolver 超时则更适合返回带稳定 extensions.code 的 GraphQL error,并尽可能把取消信号继续传给数据库或 HTTP 客户端。

用容量而不是感觉设阈值

并发上限应从最紧缺的下游资源反推。例如数据库连接池 30 个连接,而一次 GraphQL 请求高峰期平均会同时占用 2 个数据库操作,那么入口允许 30 个请求并发通常已经过高。先给数据库访问单独设更小的并发阈值,再通过压测逐步提高入口上限。

排队长度也不应按“能放多少内存”来定。Little 定律给出关系 L=λWL=\lambda W:平均队列长度 LL 约等于到达率 λ\lambda 乘平均等待时间 WW。当队列增长只是在把 p95/p99 延迟推到 SLA 之外时,快速拒绝比继续排队更健康,因为客户端还能重试、降级或切换缓存结果。

用四类指标闭环验证

上线后重点观察 active、queue depth、reject rate、timeout rate,并与数据库连接池占用率和 p95/p99 延迟对齐。健康的背压系统在突发流量下会出现短暂排队或少量拒绝,但下游资源不会长期打满,延迟也会在峰值过去后快速恢复。

如果拒绝率持续升高而下游仍有大量余量,阈值可能过保守;如果几乎不拒绝但超时率、连接池等待和尾延迟同时上升,说明背压发生得太晚。目标不是“零拒绝”,而是在过载时主动牺牲少量请求,保护整体吞吐与可恢复性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实施并发控制与背压

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通