Go / 系统课时

限制并发与在途请求

限制并发与在途请求

高并发服务真正需要限制的不是“启动了多少 Goroutine”,而是同一时刻已经占用下游连接、CPU 或远程配额的在途工作。本课用一个可运行的 HTTP 示例实现无排队并发闸门,并说明何时改用有限队列或等待超时。

学习目标

  • 区分并发上限、在途请求与排队长度,明确三者约束的资源不同。
  • 使用缓冲 Channel 作为信号量,在入口处限制下游并发。
  • 用拒绝结果验证限流生效,并识别等待队列和令牌桶的适用边界。

先限制真正稀缺的在途工作

并发限制的目标是给稀缺资源设置一个硬上界。例如数据库只能稳定承受 50 个并发查询,就应在发起查询之前拿到许可,而不是先创建几千个 Goroutine,再让它们一起阻塞在连接池上。

“在途”通常指已经被系统接纳、尚未完成的工作。若入口允许无限等待,那么并发数虽然被限制,等待者仍可能把内存和超时预算耗尽。因此服务级控制通常同时考虑并发上限与队列上限:前者保护执行资源,后者限制等待成本。

并发闸门限制在途请求并在满载时拒绝

用信号量实现无排队并发闸门

Go 标准库没有专门的计数信号量类型时,容量固定的 Channel 就能承担许可计数。下面的服务只允许两个请求同时进入工作区;拿不到许可时立即返回 429 Too Many Requests,因此不会形成额外等待队列。

go
package main

import (
	"fmt"
	"log"
	"net/http"
	"sync/atomic"
	"time"
)

var (
	permits  = make(chan struct{}, 2)
	inFlight atomic.Int64
)

func workHandler(w http.ResponseWriter, r *http.Request) {
	select {
	case permits <- struct{}{}:
		// 只有拿到许可后才进入昂贵工作区。
		defer func() { <-permits }()
	default:
		http.Error(w, "busy", http.StatusTooManyRequests)
		return
	}

	n := inFlight.Add(1)
	defer inFlight.Add(-1)

	// 模拟会占用下游资源的调用。
	time.Sleep(time.Second)
	fmt.Fprintf(w, "ok in_flight=%d\n", n)
}

func main() {
	http.HandleFunc("/work", workHandler)
	fmt.Println("listening on :8080")
	log.Fatal(http.ListenAndServe(":8080", nil))
}

将代码保存为 main.go 后运行:

bash
go run main.go

预期输出:

text
listening on :8080

保持服务运行,再在另一个终端先占满两个许可,然后发起第三个请求:

bash
curl -s http://localhost:8080/work >/tmp/work-1 &
curl -s http://localhost:8080/work >/tmp/work-2 &
sleep 0.1
curl -s -o /tmp/work-3 -w "%{http_code}\n" http://localhost:8080/work
wait
cat /tmp/work-3

预期输出:

text
429
busy

前两个请求会在约 1 秒后完成,第三个请求不会进入工作区。这里的关键不是 429 本身,而是无论入口流量多大,permits 都保证工作区同时最多只有两个请求。

队列、等待超时和令牌桶不是一回事

如果业务允许短暂等待,可以把“立即拒绝”改成“等待许可直到请求上下文结束”:使用 select 同时等待向信号量写入和 r.Context().Done()。这样能吸收很短的尖峰,但等待者仍然必须受超时和总量约束,不能变成无限队列。

有界队列适合“任务可以稍后执行”的场景,例如异步图片处理;信号量适合“任务现在执行,但同时只能有 N 个”的场景。令牌桶则主要限制单位时间内的速率,例如每秒 100 次,并不能直接保证某个慢下游只有 20 个请求同时执行。

并发上限应从被保护资源的稳定容量反推,并结合下游连接池、请求超时和实例副本数一起校准。单实例限制为 20 并不等于集群限制为 20;扩容到 10 个实例后,理论上可能同时向同一下游放大到 200 个在途请求。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

限制并发与在途请求

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通