Go / 系统课时
限制并发与在途请求
限制并发与在途请求
高并发服务真正需要限制的不是“启动了多少 Goroutine”,而是同一时刻已经占用下游连接、CPU 或远程配额的在途工作。本课用一个可运行的 HTTP 示例实现无排队并发闸门,并说明何时改用有限队列或等待超时。
学习目标
- 区分并发上限、在途请求与排队长度,明确三者约束的资源不同。
- 使用缓冲 Channel 作为信号量,在入口处限制下游并发。
- 用拒绝结果验证限流生效,并识别等待队列和令牌桶的适用边界。
先限制真正稀缺的在途工作
并发限制的目标是给稀缺资源设置一个硬上界。例如数据库只能稳定承受 50 个并发查询,就应在发起查询之前拿到许可,而不是先创建几千个 Goroutine,再让它们一起阻塞在连接池上。
“在途”通常指已经被系统接纳、尚未完成的工作。若入口允许无限等待,那么并发数虽然被限制,等待者仍可能把内存和超时预算耗尽。因此服务级控制通常同时考虑并发上限与队列上限:前者保护执行资源,后者限制等待成本。

用信号量实现无排队并发闸门
Go 标准库没有专门的计数信号量类型时,容量固定的 Channel 就能承担许可计数。下面的服务只允许两个请求同时进入工作区;拿不到许可时立即返回 429 Too Many Requests,因此不会形成额外等待队列。
package main
import (
"fmt"
"log"
"net/http"
"sync/atomic"
"time"
)
var (
permits = make(chan struct{}, 2)
inFlight atomic.Int64
)
func workHandler(w http.ResponseWriter, r *http.Request) {
select {
case permits <- struct{}{}:
// 只有拿到许可后才进入昂贵工作区。
defer func() { <-permits }()
default:
http.Error(w, "busy", http.StatusTooManyRequests)
return
}
n := inFlight.Add(1)
defer inFlight.Add(-1)
// 模拟会占用下游资源的调用。
time.Sleep(time.Second)
fmt.Fprintf(w, "ok in_flight=%d\n", n)
}
func main() {
http.HandleFunc("/work", workHandler)
fmt.Println("listening on :8080")
log.Fatal(http.ListenAndServe(":8080", nil))
}将代码保存为 main.go 后运行:
go run main.go预期输出:
listening on :8080保持服务运行,再在另一个终端先占满两个许可,然后发起第三个请求:
curl -s http://localhost:8080/work >/tmp/work-1 &
curl -s http://localhost:8080/work >/tmp/work-2 &
sleep 0.1
curl -s -o /tmp/work-3 -w "%{http_code}\n" http://localhost:8080/work
wait
cat /tmp/work-3预期输出:
429
busy前两个请求会在约 1 秒后完成,第三个请求不会进入工作区。这里的关键不是 429 本身,而是无论入口流量多大,permits 都保证工作区同时最多只有两个请求。
队列、等待超时和令牌桶不是一回事
如果业务允许短暂等待,可以把“立即拒绝”改成“等待许可直到请求上下文结束”:使用 select 同时等待向信号量写入和 r.Context().Done()。这样能吸收很短的尖峰,但等待者仍然必须受超时和总量约束,不能变成无限队列。
有界队列适合“任务可以稍后执行”的场景,例如异步图片处理;信号量适合“任务现在执行,但同时只能有 N 个”的场景。令牌桶则主要限制单位时间内的速率,例如每秒 100 次,并不能直接保证某个慢下游只有 20 个请求同时执行。
并发上限应从被保护资源的稳定容量反推,并结合下游连接池、请求超时和实例副本数一起校准。单实例限制为 20 并不等于集群限制为 20;扩容到 10 个实例后,理论上可能同时向同一下游放大到 200 个在途请求。