Go / 系统课时

降低锁竞争与临界区成本

降低锁竞争与临界区成本

锁本身通常不是问题,热点锁让大量 goroutine 排队才是问题。本课从可复现基准开始,先确认等待确实来自共享锁,再用缩短临界区、分片和读写模型重构降低竞争,最后用 Mutex Profile 验证收益而不是只看吞吐数字。

学习目标

  • 从吞吐、延迟与 Mutex Profile 判断是否存在真实锁竞争。
  • 根据共享状态特点选择缩短临界区、分片、读写隔离或快照方案。
  • 用同负载 Benchmark 与 Mutex Profile 比较优化前后的等待成本。

先确认瓶颈在锁而不是锁附近

锁竞争常见现象是并发升高后吞吐不再增长、p99 抬升、CPU 没有充分利用,同时大量 goroutine 等待同一同步点。但这些现象也可能来自下游 I/O、GC 或调度压力,所以第一步不是立刻把 Mutex 换成 RWMutex,而是建立可重复基准并采集互斥锁 Profile。

Mutex Profile 记录的是竞争造成的等待成本,并把样本关联到结束临界区的解锁调用栈。查看 pprof 时,sync.(*Mutex).Unlock 出现在前列并不意味着标准库有问题,应继续看累计调用路径,找到真正持有热锁的业务函数。

先缩短临界区再考虑更复杂结构

最便宜的优化通常是减少“持锁期间做的事”。只把必须原子更新的共享状态放进临界区,序列化、日志、网络 I/O、磁盘 I/O、昂贵计算和与共享状态无关的校验尽量移到锁外。这样既缩短单次持锁时间,也减少同时等待者数量。

如果一个请求需要先读取共享对象、做昂贵计算、再写回,不要简单地在整个过程持锁。应先确认计算是否可以基于不可变输入或版本号在锁外完成,回锁后只做条件检查和提交;若状态可能被其他 goroutine 修改,则使用版本校验、重试或其他明确的一致性策略,不能为了缩锁而引入竞态。

用分片降低热点锁碰撞

当共享状态按 key 天然独立时,分片通常比一把全局锁更直接。下面用同一组 key 分别压测全局 Mutex 和 32 个独立分片;每个分片只保护自己的 map,因此不同 key 更可能并行更新。

在一个空目录中初始化模块:

bash
go mod init example.com/lockdemo

预期输出:

text
go: creating new go.mod: module example.com/lockdemo

将下面内容保存为 counter_test.go;它由后面的 Benchmark 命令运行。

go
package lockdemo

import (
    "sync"
    "sync/atomic"
    "testing"
)

type globalCounter struct {
    mu sync.Mutex
    m  map[uint64]uint64
}

func (c *globalCounter) add(key uint64) {
    c.mu.Lock()
    c.m[key]++
    c.mu.Unlock()
}

type shard struct {
    mu sync.Mutex
    m  map[uint64]uint64
}

type shardedCounter struct {
    shards [32]shard
}

func newShardedCounter() *shardedCounter {
    c := &shardedCounter{}
    for i := range c.shards {
        c.shards[i].m = make(map[uint64]uint64)
    }
    return c
}

func (c *shardedCounter) add(key uint64) {
    // 32 是 2 的幂,可用低 5 位把不同 key 分散到独立锁。
    s := &c.shards[key&31]
    s.mu.Lock()
    s.m[key]++
    s.mu.Unlock()
}

func benchmarkCounter(b *testing.B, add func(uint64)) {
    var seeds atomic.Uint64
    b.RunParallel(func(pb *testing.PB) {
        // 每个并发 worker 只在启动时取一次种子,避免原子操作污染主路径。
        x := seeds.Add(1)
        for pb.Next() {
            x = x*6364136223846793005 + 1
            add((x >> 32) & 1023)
        }
    })
}

func BenchmarkGlobal(b *testing.B) {
    c := &globalCounter{m: make(map[uint64]uint64)}
    benchmarkCounter(b, c.add)
}

func BenchmarkSharded(b *testing.B) {
    c := newShardedCounter()
    benchmarkCounter(b, c.add)
}

固定为 8 个逻辑处理器并重复 5 次,避免只看一次偶然结果:

bash
go test -run '^$' -bench 'Benchmark(Global|Sharded)$' -benchtime=2s -count=5 -cpu=8

预期输出中每个基准会重复出现,具体 ns/op 取决于机器;应比较同一环境下两组分布,而不是照抄某个绝对数值:

text
BenchmarkGlobal-8      <VALUE>    <VALUE> ns/op
BenchmarkSharded-8     <VALUE>    <VALUE> ns/op
PASS
ok      example.com/lockdemo    <TIME>

分片不是免费优化:它增加了结构复杂度和内存占用,还要求 key 能稳定映射到分片。若所有请求仍集中在同一个热 key,分 32 片也只会把热点留在其中一片。

根据读写模型选择状态结构

RWMutex 只在读远多于写且读临界区确实会并发重叠时值得测试;写频繁、临界区极短或竞争本来就低时,额外协调成本可能抵消收益。不要把“读操作多”直接等价为“应该换 RWMutex”,仍需基准验证。

方案 更适合的状态 主要代价
缩短临界区 任何存在锁内无关工作的共享状态 需要重新检查原子性边界
分片锁 key 之间相对独立、热点可分散 分片规则和聚合逻辑更复杂
RWMutex 读占绝对多数且读临界区有实际重叠 写竞争和协调开销可能变高
不可变快照 + 原子替换 读极多、写少、状态可整体复制 写入需要复制或重建快照
单 owner goroutine 操作天然串行、可接受队列化 单 owner 可能成为新的串行瓶颈

读写隔离的核心不是“换一种锁”,而是让读路径尽量不与写路径争夺同一共享资源。例如配置、路由表等读多写少的小状态可以构造新快照后原子替换;计数、缓存等按 key 独立的状态更适合分片;可以局部累计再批量合并的指标,则应减少每次请求都触碰全局锁。

用 Mutex Profile 证明等待下降

分别对两个基准采集 Mutex Profile,短基准中使用 -mutexprofilefraction=1 便于完整观察竞争事件;生产环境通常应使用合适采样率并评估采集开销。

bash
go test -run '^$' -bench '^BenchmarkGlobal$' -benchtime=3s -count=1 -cpu=8 -mutexprofile=global-mutex.out -mutexprofilefraction=1
go test -run '^$' -bench '^BenchmarkSharded$' -benchtime=3s -count=1 -cpu=8 -mutexprofile=sharded-mutex.out -mutexprofilefraction=1
go tool pprof -top global-mutex.out
go tool pprof -top sharded-mutex.out

预期输出都会是 delay 类型 Profile,并能沿累计路径看到对应的 add 方法;时间和占比是动态值:

text
Type: delay
Showing nodes accounting for <TIME>, <VALUE>% of <TIME> total
      flat  flat%   sum%        cum   cum%
    <TIME> <VALUE>% <VALUE>%     <TIME> <VALUE>%  sync.(*Mutex).Unlock
         0     0% <VALUE>%       <TIME> <VALUE>%  example.com/lockdemo.(*globalCounter).add

验收时同时看两类证据:Benchmark 的 ns/op 与吞吐趋势,以及 Mutex Profile 中业务持锁路径的累计等待。若分片后吞吐没有改善、等待也没有下降,就不要保留复杂化改造;这通常意味着真正瓶颈在 map 操作之外,或工作负载并没有形成足够的锁碰撞。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

降低锁竞争与临界区成本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通