Go / 系统课时
理解 Netpoller 与网络等待
理解 Netpoller 与网络等待
网络服务常写成“阻塞式”代码,但高并发连接并不意味着每个等待中的 Goroutine 都长期占住一个操作系统线程。本课从一次 Read 的等待与唤醒入手,理解 Netpoller 如何把 socket 就绪事件接入 Go 调度器。
学习目标
- 解释网络 I/O 阻塞 Goroutine 而不必持续占用线程的原因。
- 描述 socket 未就绪、事件就绪到 Goroutine 恢复运行的完整链路。
- 区分 Netpoller 等待与普通阻塞系统调用、锁等待和 Channel 等待。
Netpoller 解决的是什么等待
Go 的 net、net/http 等网络 API 对调用者表现为同步阻塞:没有数据时,Read 可以一直等。但对可轮询的网络描述符,运行时会使用集成的网络轮询器管理就绪事件,而不是让对应的 M 一直卡在内核读取上。不同平台有不同实现,例如 Linux 使用 epoll、BSD/macOS 使用 kqueue;上层调度语义保持一致。

这里的关键不是“把阻塞 I/O 变成异步回调”,而是让阻塞式编程模型建立在运行时可调度的等待之上。因此应用仍然可以按顺序写 Read、处理、Write,调度器却能在连接空闲时把 CPU 让给其他可运行 Goroutine。
一次 Read 如何进入和离开等待
对一个可被运行时轮询的 socket,可以把一次读取理解为四个阶段:
- Goroutine 调用
Read,底层先尝试执行 I/O;如果数据已经就绪,可以直接返回。 - 若内核报告暂时不可读,运行时记录该描述符的读等待状态,并把当前 Goroutine park。
- Netpoller 从操作系统取得就绪事件,把对应等待者变成可运行 Goroutine。
- 调度器随后选择这个 Goroutine 在某个 P/M 上继续执行;读取会重新推进,并最终得到数据、EOF 或错误。
“事件就绪”只表示这次 I/O 值得再次尝试,不等于一定拿到完整业务消息。TCP 是字节流,一次就绪后仍可能只读到部分数据,所以协议层仍要正确处理短读、EOF、超时和错误。
下面的程序故意让服务端先阻塞在读取上,客户端稍后再发送 4 字节数据。代码写法是同步的,但等待中的 Goroutine 可以被运行时挂起。
package main
import (
"fmt"
"io"
"net"
"time"
)
func main() {
ln, err := net.Listen("tcp", "127.0.0.1:0")
if err != nil {
panic(err)
}
defer ln.Close()
done := make(chan struct{})
go func() {
conn, err := ln.Accept()
if err != nil {
panic(err)
}
defer conn.Close()
fmt.Println("server: waiting for data")
buf := make([]byte, 4)
// ReadFull 会持续读取,直到拿到 4 字节或遇到错误。
if _, err := io.ReadFull(conn, buf); err != nil {
panic(err)
}
fmt.Printf("server: received %q\n", buf)
close(done)
}()
conn, err := net.Dial("tcp", ln.Addr().String())
if err != nil {
panic(err)
}
defer conn.Close()
// 留出一小段时间,让服务端先进入网络等待。
time.Sleep(100 * time.Millisecond)
if _, err := conn.Write([]byte("ping")); err != nil {
panic(err)
}
<-done
}预期输出:
server: waiting for data
server: received "ping"在 server: waiting for data 与客户端写入之间,服务端 Goroutine 没有可做的工作。对正常 TCP socket,这段等待会由网络轮询机制与调度器协作管理,而不是要求一个线程持续忙等。
Netpoller 怎样接回调度器
Netpoller 本身不执行你的业务函数,它只负责把“哪些网络等待现在可能继续”转换成可调度的 Goroutine。真正恢复执行时,仍要经过 Go 调度器:G 进入 runnable 状态,获得 P 后由 M 执行。这也是为什么网络等待、GMP 调度和运行队列不能割裂理解。
网络 deadline 也会改变等待结果。调用 SetReadDeadline 或使用带超时的上层 API 后,即使 socket 一直没有数据,超时到达也会让等待结束并向调用方返回相应错误;因此生产代码应把“事件就绪”和“等待何时必须结束”同时设计好。
哪些阻塞不属于 Netpoller
Netpoller 主要处理运行时能够纳入轮询机制的网络 I/O。普通文件 I/O、无法轮询的描述符、直接绕过 net 包进行的某些原始系统调用,都可能走不同路径;阻塞系统调用中的 M 也不受 GOMAXPROCS 的“执行 Go 代码线程数”直接限制,调度器会尽量让 P 去执行其他工作。
同样,sync.Mutex、Channel、sync.Cond 等同步等待由各自的运行时机制管理,并不是网络就绪事件。排查大量 Goroutine 等待时,先根据 goroutine profile 或 execution trace 区分 IO wait、syscall、锁与 Channel,再判断是否真的与 Netpoller 有关。
理解 Netpoller 后,判断高并发网络程序的关键就从“有多少连接”转为“有多少连接当前可运行、多少在等待就绪,以及唤醒后是否有足够的 P 承接计算”。