大模型原理与训练 / 系统课时

把大语料预处理成二进制数据

把大语料预处理成二进制数据

训练循环不应该反复读取原始文本并重新分词。本节把文本一次性转换成连续 token ID,再按训练集和验证集写入紧凑二进制文件,使后续训练只处理整数序列,并明确 tokenizer、整数类型和数据切分必须保持一致的原因。

学习目标

  • 把原始文本一次性 Tokenize,并写成连续整数二进制文件
  • 根据词表范围选择合适的整数类型,正确切分训练集与验证集
  • 解释预处理为何能减少正式训练阶段的重复 CPU 与解析开销

二进制文件真正保存什么

语言模型看到的不是字符串,而是 token ID 序列。假设 tokenizer 把文本转换为 [110, 97, 110, 111, ...],预处理阶段只需按固定整数类型把这些 ID 连续写入文件,不必保存 JSON 数组、换行记录或每条文本的边界。

这种布局很适合自回归训练:训练时只需要从任意位置取连续的 block_size + 1 个 token,前 block_size 个作为输入,后移一个位置作为目标。

从原始文本到训练二进制文件的数据预处理流程

写出一个可直接读取的 token 流

下面用 UTF-8 字节作为最小 tokenizer,使示例不依赖外部分词库。每个字节就是一个 0~255 的 token ID,并以小端 uint16 保存。正式项目应把 encode 替换为模型实际使用的固定 tokenizer,但文件写入方式相同。示例需要 Python 3 和 NumPy,保存为 preprocess.py 后执行 python preprocess.py。

python
from pathlib import Path
import numpy as np

TEXT = 'nanoGPT trains on token streams.\n' * 100
TRAIN_RATIO = 0.9


def encode(text: str) -> np.ndarray:
    # 独立示例使用字节 tokenizer;正式训练必须换成模型对应 tokenizer。
    byte_ids = np.frombuffer(text.encode('utf-8'), dtype=np.uint8)
    return byte_ids.astype('<u2')


def main() -> None:
    ids = encode(TEXT)
    split = int(len(ids) * TRAIN_RATIO)
    train_ids = ids[:split]
    val_ids = ids[split:]

    train_path = Path('train.bin')
    val_path = Path('val.bin')
    train_ids.tofile(train_path)
    val_ids.tofile(val_path)

    print('total tokens=', len(ids), sep='')
    print('train tokens=', len(train_ids), ', bytes=', train_path.stat().st_size, sep='')
    print('val tokens=', len(val_ids), ', bytes=', val_path.stat().st_size, sep='')


if __name__ == '__main__':
    main()

预期输出

text
total tokens=3300
train tokens=2970, bytes=5940
val tokens=330, bytes=660

每个 token 占 2 字节,因此文件大小应分别等于 token 数乘以 2。这个检查很简单,却能快速发现写入类型或数据长度与预期不一致的问题。

固定 tokenizer 与整数类型

真正的数据集可能包含数十亿 token,预处理前应先确定两件事。第一,训练和生成必须使用同一个 tokenizer;如果预训练完成后更换 token 到 ID 的映射,即使词表大小没变,已有权重也失去原来的语义对应关系。第二,文件的整数类型必须容纳词表中的最大 token ID。

当所有 ID 都小于 65536 时,uint16 每个 token 只占 2 字节;如果词表或特殊 token 的 ID 超出该范围,就应改用 uint32,同时让后续读取代码使用完全相同的 dtype 和字节序。

为什么只做一次分词

若训练循环每取一个 batch 都重新打开文本、解析字符并执行 tokenizer,同一段语料会随着 epoch 和随机采样被重复处理,CPU 分词和对象创建还可能让 GPU 等待数据。预处理把这部分工作提前为一次性的顺序任务,之后训练只需计算随机偏移并读取定长整数片段。

二进制格式也避免了文本解析与 JSON 等结构化格式的额外开销。它的代价是可读性低,因此应把 tokenizer 版本、dtype、训练验证切分规则等元数据单独记录下来。只要这些约定稳定,train.bin 和 val.bin 就可以被后续训练反复复用,而不必再次 Tokenize 原始语料。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

把大语料预处理成二进制数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通