Go / 系统课时

用 io.Reader 连接数据流

用 io.Reader 连接数据流

Go 的 io.Reader 把“数据从哪里来”压缩成一个 Read 方法,io.Writer 则抽象“数据往哪里去”。把业务函数写成接收这两个接口后,同一段逻辑就能连接文件、内存缓冲区、HTTP 响应体或压缩包装器,而不必为每种来源重写一套流程。

学习目标

  • 理解 io.Reader、io.Writer 的最小接口契约,以及 Read 返回值的处理规则。
  • 使用 io.Copy、io.LimitReader、io.TeeReader 组合可复用的数据流。
  • 根据是否需要缓冲、限流、复制或关闭能力选择合适的标准库包装器。

Reader 和 Writer 的契约

io.Reader 的核心方法是 Read(p []byte) (n int, err error),io.Writer 是 Write(p []byte) (n int, err error)。调用方必须先处理本次得到的 n 个字节,再判断 err;合法实现可以同时返回 n > 0 和 io.EOF。

io.Copy(dst, src) 已经正确处理了这套读取循环,因此只要目标实现 io.Writer、来源实现 io.Reader,通常就不需要自己写缓冲区循环。默认复制直到来源返回 EOF 或遇到错误,返回实际复制的字节数。

io.Reader 与 io.Writer 通过包装器组成数据流

用 Copy 和包装器拼出流水线

下面的程序把字符串作为来源,只允许读取前 6 个字节,再通过 io.TeeReader 把实际读到的数据同步复制到旁路缓冲区。主路径由 io.Copy 驱动并写入另一个 bytes.Buffer。

go
package main

import (
	"bytes"
	"fmt"
	"io"
	"strings"
)

func copyStream(dst io.Writer, src io.Reader) (int64, error) {
	return io.Copy(dst, src)
}

func main() {
	source := strings.NewReader("alpha\nbeta\n")
	limited := io.LimitReader(source, 6)

	var mirror bytes.Buffer
	tee := io.TeeReader(limited, &mirror)

	var destination bytes.Buffer
	n, err := copyStream(&destination, tee)
	if err != nil {
		panic(err)
	}

	fmt.Printf("copied=%d\n", n)
	fmt.Printf("destination=%q\n", destination.String())
	fmt.Printf("mirror=%q\n", mirror.String())
}

预期输出:

text
copied=6
destination="alpha\n"
mirror="alpha\n"

copyStream 不知道来源是字符串,也不知道目标是内存缓冲区;以后把参数换成 *os.File、net.Conn 或 http.Response.Body,函数签名仍然不变。这里的 6 是字节上限,不是字符数量;处理 UTF-8 文本时不要把它当成“6 个汉字”。

常见包装器怎么选

需要“限制最多读取 N 字节”时使用 io.LimitReader;需要“一边读取一边把同样的数据写到旁路”时使用 io.TeeReader;需要把多个来源顺序拼接成一个来源时使用 io.MultiReader。这些函数返回的仍然是 io.Reader,所以可以继续套下一层。

需要减少小块读取的系统调用时,可以在来源外包一层 bufio.NewReader;需要缓冲小块写入时使用 bufio.NewWriter,并在结束前显式 Flush。当某个 API 要求 io.ReadCloser,但手里只有无需关闭的 io.Reader 时,可以用 io.NopCloser 适配接口。

把关闭责任留给拥有资源的一层

io.Reader 本身没有 Close,这是有意的:读取能力与资源生命周期是两件事。像 *os.File、http.Response.Body 这样的对象通常同时实现 io.Reader 和 io.Closer,谁创建或接收了需要关闭的资源,谁就应明确负责关闭。

因此业务处理函数优先接收最小能力接口,例如只读解析器接收 io.Reader;文件打开、HTTP 请求和 defer Close 放在更外层。这样测试时可以直接传 strings.NewReader 或 bytes.NewBufferString,无需创建真实文件,也不会把关闭策略硬编码进纯数据处理逻辑。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 io.Reader 连接数据流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通