Go / 系统课时

减少不必要的内存分配

减少不必要的内存分配

Go 网络服务在高 QPS 下,即使单次分配只有几十字节,也会放大成持续的 GC 压力。本篇用基准测试先量化每次操作的分配,再用内存 profile 找到分配栈,重点处理缓冲区复用、编码过程和字符串与字节切换。

学习目标

  • 能用 -benchmem 判断优化是否真的减少分配
  • 能用内存 profile 找到主要分配函数,而不是凭感觉改代码
  • 能识别缓冲区、编码和 string/[]byte 转换中的常见额外分配

先用基准测试建立分配基线

优化前先固定输入并记录 B/op 与 allocs/op。下面的测试模拟网络协议编码:慢版本先拼字符串再转成字节切片,快版本直接向可复用缓冲区追加内容。将代码保存为 alloc_test.go 后运行基准。

go
package allocdemo

import (
    "strconv"
    "testing"
)

var sink []byte

func encodeSlow(id int, payload []byte) []byte {
    s := strconv.Itoa(id) + ":" + string(payload)
    return []byte(s)
}

func encodeFast(dst []byte, id int, payload []byte) []byte {
    dst = strconv.AppendInt(dst[:0], int64(id), 10)
    dst = append(dst, ':')
    dst = append(dst, payload...)
    return dst
}

func BenchmarkEncodeSlow(b *testing.B) {
    payload := []byte("hello")
    b.ReportAllocs()
    for i := 0; i < b.N; i++ {
        sink = encodeSlow(42, payload)
    }
}

func BenchmarkEncodeFast(b *testing.B) {
    payload := []byte("hello")
    buf := make([]byte, 0, 64)
    b.ReportAllocs()
    for i := 0; i < b.N; i++ {
        sink = encodeFast(buf, 42, payload)
    }
}

运行基准:

bash
go test -bench=BenchmarkEncode -benchmem -count=1

预期输出

text
BenchmarkEncodeSlow-<ID>    <ID>    <TIME>/op    <BYTES> B/op    1 allocs/op
BenchmarkEncodeFast-<ID>    <ID>    <TIME>/op    0 B/op          0 allocs/op
PASS

具体迭代次数、耗时和慢版本的字节数会随 CPU、Go 版本和编译器变化;这里要验证的是慢版本存在每次分配,而复用缓冲区的版本在该基准下达到 0 allocs/op。

用 profile 找到分配从哪里发生

-benchmem 只能告诉你“分配了多少”,不能解释“谁分配的”。可以在代表性基准上生成内存 profile,再按累计分配量查看热点。

bash
go test -run='^$' -bench=BenchmarkEncodeSlow -memprofile=mem.out -count=1
go tool pprof -top -alloc_space mem.out

预期结果

text
Showing nodes accounting for <BYTES>, <PERCENT>% of <BYTES> total
      flat  flat%   sum%        cum   cum%
   <BYTES> <PERCENT>% <PERCENT>%    <BYTES> <PERCENT>%  allocdemo.encodeSlow

具体字节数和百分比是动态值,但 profile 中应能看到与 encodeSlow 相关的累计分配路径。若热点落在 JSON 编码、日志格式化、fmt.Sprintf、string(b)、[]byte(s) 或缓冲区扩容上,就回到对应调用点判断是否能直接写入已有缓冲区。

优先处理三类高频分配

第一类是生命周期很短的临时缓冲区。若每个请求都 make([]byte, ...),先确认容量是否可预测;能在连接或请求处理阶段复用,就避免重复创建。只有对象大小稳定、复用收益经过基准验证时才考虑 sync.Pool,不要为了“零分配”把所有对象都放进池里。

第二类是编码过程中的中间对象。网络协议、日志和文本拼接常见的问题是先构造字符串,再转成字节。优先使用 strconv.AppendInt、append 或支持 io.Writer 的编码接口,把结果直接写入目标缓冲区。

第三类是 string 与 []byte 的双向转换。安全转换通常会产生拷贝或分配,尤其在热点路径中反复转换时成本明显。比起使用不安全零拷贝技巧,更稳妥的做法是尽量让一段数据在整个处理链中保持同一种表示。

防止“优化”换来更差的内存行为

分配下降不等于整体更快。复用过大的缓冲区会提高常驻内存,池化对象可能把大对象保留更久,减少一次拷贝也可能让代码复杂度显著上升。因此每次修改后都要重新跑同一组基准,并同时观察 ns/op、B/op 和 allocs/op。

当同一输入、同一基准条件下 allocs/op 与 B/op 下降,同时端到端压测的 GC CPU 或尾延迟也改善,才说明这次内存优化对网络服务真正有效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

减少不必要的内存分配

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通