Go / 系统课时
限制并发与实施背压
限制并发与实施背压
昂贵端点真正需要限制的不是“总请求数”,而是同一时刻占用数据库连接、CPU、内存或外部配额的在途工作量。本节用一个非阻塞信号量实现并发上限和快速拒绝,并说明何时应该加入有限队列、如何让客户端得到明确的过载信号。
学习目标
- 用信号量为单个昂贵端点设置明确的在途请求上限
- 区分快速拒绝、有限排队与无界等待对延迟和资源的影响
- 为临时过载返回可识别的 HTTP 状态和重试提示
先限制真正昂贵的工作
并发上限应围绕稀缺资源设置,而不是机械地给整个服务套一个数字。例如某个报表接口每次都占用数据库连接并执行重查询,就应限制进入这段处理逻辑的请求数;健康检查、静态响应等轻量端点没有必要共享同一个闸门。
一个实用的判断是:当并发继续增加时,吞吐已经不再明显上升,但连接池等待、CPU 抢占或尾延迟持续恶化,就应该在资源被耗尽之前建立边界。上限最好从数据库连接池、下游并发配额和压测结果反推,并保留一定余量。

用非阻塞信号量快速拒绝
下面的完整示例把并发上限设为 1。第一个请求进入昂贵处理后会暂时阻塞,第二个请求不会继续排队,而是立即收到 503 Service Unavailable。示例使用 httptest,因此可以直接运行,不需要占用固定端口。
package main
import (
"fmt"
"net/http"
"net/http/httptest"
"sync"
)
func limitConcurrent(max int, next http.Handler) http.Handler {
sem := make(chan struct{}, max)
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
select {
case sem <- struct{}{}:
// 只有拿到令牌的请求才进入昂贵处理,并在结束时归还令牌。
defer func() { <-sem }()
default:
w.Header().Set("Retry-After", "1")
http.Error(w, "server busy", http.StatusServiceUnavailable)
return
}
next.ServeHTTP(w, r)
})
}
func main() {
entered := make(chan struct{}, 1)
release := make(chan struct{})
expensive := http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
entered <- struct{}{}
<-release
fmt.Fprint(w, "ok")
})
server := httptest.NewServer(limitConcurrent(1, expensive))
defer server.Close()
var wg sync.WaitGroup
wg.Add(1)
var firstStatus int
go func() {
defer wg.Done()
resp, err := http.Get(server.URL)
if err != nil {
panic(err)
}
defer resp.Body.Close()
firstStatus = resp.StatusCode
}()
// 确认第一个请求已经占满唯一令牌,再发送第二个请求。
<-entered
second, err := http.Get(server.URL)
if err != nil {
panic(err)
}
defer second.Body.Close()
fmt.Println("second:", second.StatusCode, second.Header.Get("Retry-After"))
close(release)
wg.Wait()
fmt.Println("first:", firstStatus)
}预期输出
second: 503 1
first: 200这里的关键点是 select 的 default 分支:闸门满时不等待,因此不会因为新请求持续到来而让大量 goroutine 长时间挂起。令牌必须在处理结束时释放,否则一次异常路径就可能永久吃掉容量。
有限队列不是无限等待
如果任务很短、流量存在瞬时尖峰,可以在并发闸门前增加小型有界队列,让少量请求等待空位。但队列长度和最长等待时间都必须有上限,因为排队中的请求仍然占用连接、goroutine 和客户端耐心。
无界队列通常只是把“过载”从 CPU 或数据库转移成内存和延迟问题。队列一旦已满,仍应快速拒绝;请求的 Context 已取消或截止时间已到时,也应立即停止等待和后续工作。
返回明确的过载结果
临时的服务端容量不足通常适合返回 503 Service Unavailable,并可配合 Retry-After 告诉客户端最早何时重试。若限制针对某个客户端、账号或令牌的请求速率,429 Too Many Requests 往往更准确。
客户端不能把重试理解为“立刻再打一次”。生产环境通常应采用有限次数的指数退避并加入抖动,否则大量客户端会在同一时刻再次冲击服务。并发上限、有限排队和清晰拒绝共同构成背压:系统在接近资源上限时主动降低进入昂贵路径的工作量,而不是等资源耗尽后被动失败。