Go / 系统课时

限制并发与实施背压

限制并发与实施背压

昂贵端点真正需要限制的不是“总请求数”,而是同一时刻占用数据库连接、CPU、内存或外部配额的在途工作量。本节用一个非阻塞信号量实现并发上限和快速拒绝,并说明何时应该加入有限队列、如何让客户端得到明确的过载信号。

学习目标

  • 用信号量为单个昂贵端点设置明确的在途请求上限
  • 区分快速拒绝、有限排队与无界等待对延迟和资源的影响
  • 为临时过载返回可识别的 HTTP 状态和重试提示

先限制真正昂贵的工作

并发上限应围绕稀缺资源设置,而不是机械地给整个服务套一个数字。例如某个报表接口每次都占用数据库连接并执行重查询,就应限制进入这段处理逻辑的请求数;健康检查、静态响应等轻量端点没有必要共享同一个闸门。

一个实用的判断是:当并发继续增加时,吞吐已经不再明显上升,但连接池等待、CPU 抢占或尾延迟持续恶化,就应该在资源被耗尽之前建立边界。上限最好从数据库连接池、下游并发配额和压测结果反推,并保留一定余量。

昂贵端点的并发闸门与过载分支

用非阻塞信号量快速拒绝

下面的完整示例把并发上限设为 1。第一个请求进入昂贵处理后会暂时阻塞,第二个请求不会继续排队,而是立即收到 503 Service Unavailable。示例使用 httptest,因此可以直接运行,不需要占用固定端口。

go
package main

import (
	"fmt"
	"net/http"
	"net/http/httptest"
	"sync"
)

func limitConcurrent(max int, next http.Handler) http.Handler {
	sem := make(chan struct{}, max)

	return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
		select {
		case sem <- struct{}{}:
			// 只有拿到令牌的请求才进入昂贵处理,并在结束时归还令牌。
			defer func() { <-sem }()
		default:
			w.Header().Set("Retry-After", "1")
			http.Error(w, "server busy", http.StatusServiceUnavailable)
			return
		}

		next.ServeHTTP(w, r)
	})
}

func main() {
	entered := make(chan struct{}, 1)
	release := make(chan struct{})

	expensive := http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
		entered <- struct{}{}
		<-release
		fmt.Fprint(w, "ok")
	})

	server := httptest.NewServer(limitConcurrent(1, expensive))
	defer server.Close()

	var wg sync.WaitGroup
	wg.Add(1)

	var firstStatus int
	go func() {
		defer wg.Done()

		resp, err := http.Get(server.URL)
		if err != nil {
			panic(err)
		}
		defer resp.Body.Close()
		firstStatus = resp.StatusCode
	}()

	// 确认第一个请求已经占满唯一令牌,再发送第二个请求。
	<-entered

	second, err := http.Get(server.URL)
	if err != nil {
		panic(err)
	}
	defer second.Body.Close()

	fmt.Println("second:", second.StatusCode, second.Header.Get("Retry-After"))

	close(release)
	wg.Wait()

	fmt.Println("first:", firstStatus)
}

预期输出

text
second: 503 1
first: 200

这里的关键点是 select 的 default 分支:闸门满时不等待,因此不会因为新请求持续到来而让大量 goroutine 长时间挂起。令牌必须在处理结束时释放,否则一次异常路径就可能永久吃掉容量。

有限队列不是无限等待

如果任务很短、流量存在瞬时尖峰,可以在并发闸门前增加小型有界队列,让少量请求等待空位。但队列长度和最长等待时间都必须有上限,因为排队中的请求仍然占用连接、goroutine 和客户端耐心。

无界队列通常只是把“过载”从 CPU 或数据库转移成内存和延迟问题。队列一旦已满,仍应快速拒绝;请求的 Context 已取消或截止时间已到时,也应立即停止等待和后续工作。

返回明确的过载结果

临时的服务端容量不足通常适合返回 503 Service Unavailable,并可配合 Retry-After 告诉客户端最早何时重试。若限制针对某个客户端、账号或令牌的请求速率,429 Too Many Requests 往往更准确。

客户端不能把重试理解为“立刻再打一次”。生产环境通常应采用有限次数的指数退避并加入抖动,否则大量客户端会在同一时刻再次冲击服务。并发上限、有限排队和清晰拒绝共同构成背压:系统在接近资源上限时主动降低进入昂贵路径的工作量,而不是等资源耗尽后被动失败。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

限制并发与实施背压

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通