Node.js / 系统课时

认识可读流

认识可读流

可读流把“大块数据一次性读入内存”改成“数据到一部分就消费一部分”。这一课用 Node.js 内置 Readable 演示分块到达、data 与 end 事件,并说明 flowing、paused 两种消费方式怎样选择。

学习目标

  • 能说清可读流的内部缓冲区、数据块与消费者之间的关系。
  • 能用 data、end 事件按块读取数据并验证块内容。
  • 能判断什么时候使用 data、readable 或异步迭代,避免混用读取模式。

数据为什么会被分成块

可读流不会承诺“一次事件就是一个完整文件或一整行”。网络、文件系统和上游流会把数据分批推入内部缓冲区,消费者再按当前读取方式取走。highWaterMark 只是缓冲阈值,不是固定分块尺寸;默认值还会随流类型和 Node.js 版本而不同,因此业务代码不能依赖某个固定块大小。

可读流从数据源到消费者的分块与缓冲关系

例如读取一个 200 MB 文件时,流可以让程序边读边处理,而不是先申请约 200 MB 的连续业务缓冲。真正的内存占用还包括 Node.js、自身缓存和下游处理,因此不能把“流式读取”理解成“只占一个 chunk 的内存”。

用 data 事件观察分块

下面示例适用于当前维护中的 Node.js 版本,使用 node:stream 创建一个可读流。Readable.from() 会把数组中的每个元素作为可读数据项;监听 data 后,流进入 flowing 模式,数据到达就立即交给回调。

js
const { Readable } = require('node:stream');

const source = Readable.from([
  Buffer.from('Node'),
  Buffer.from('.js'),
  Buffer.from(' stream')
]);

source.on('data', (chunk) => {
  console.log(`chunk="${chunk.toString()}" bytes=${chunk.length}`);
});

source.on('end', () => {
  console.log('end');
});

预期输出

text
chunk="Node" bytes=4
chunk=".js" bytes=3
chunk=" stream" bytes=7
end

这里的 chunk 是 Buffer。如果上游设置了文本编码,回调也可能收到字符串;如果是对象模式流,则 chunk 可以是普通 JavaScript 值。处理二进制协议时应保留 Buffer,不要先转字符串再按字符长度判断字节数。

选择正确的读取模式

最常用的三种消费方式各有明确场景。data 事件适合持续处理每一块;readable 事件适合需要自己决定何时调用 read();异步迭代 for await...of 适合把流消费写成顺序异步代码。

方式 典型写法 适合场景 注意点
flowing stream.on('data', fn) 日志、转码、逐块解析 消费者必须跟得上数据速度
paused stream.on('readable', fn) + stream.read() 精细控制读取时机 不要再同时依赖 data
async iterator for await (const chunk of stream) async 业务流程 循环退出时要考虑流销毁语义

readableFlowing 可用来观察状态:初始通常为 null;注册 data、调用 resume() 或 pipe() 后进入 true;调用 pause() 后为 false。不要把 data 与 readable 监听器混在同一段业务逻辑里,否则读取节奏和事件顺序会变得难以推断。

事件结束不等于什么都正常

end 只表示“可读端已经没有更多数据”,并不代表下游写入、数据库提交或网络发送已经完成。文件读取还应监听 error,真实项目通常至少同时处理数据、正常结束和错误三条路径。

验收时可以检查三点:每个 chunk 都被消费、end 只出现一次、异常时不会继续把后续数据当成正常结果。做到这三点后,才算真正掌握了可读流的基本读取过程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

认识可读流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通