大模型原理与训练 / 系统课时

准备微型语料与词元器

准备微型语料与词元器

这一节把一小段文本变成微型 GPT 可以直接消费的整数序列,并把词元映射、训练序列和验证序列落盘。重点不是训练出好模型,而是得到一份可重复、可检查、后续课时能直接复用的数据输入。

学习目标

  • 用字符级词元器建立可逆的文本与 token id 映射
  • 把连续 token 序列划分为训练集和验证集并持久化
  • 检查词表大小、数据类型和编码解码是否满足后续 GPT 实验要求

固定最小数据约定

为了把注意力集中在 GPT 机制上,这里选用字符级词元器。每个不同字符对应一个整数 id,优点是实现短、映射透明、不会依赖外部分词库;缺点是序列通常比子词分词更长,因此它适合机制验证,不代表生产模型的最佳选择。

后续语言模型需要的是一条保持原始顺序的一维 token 序列。训练时再从这条序列中截取长度为 block_size 的窗口,并把窗口右移一位得到预测目标,所以此处不要提前随机打乱 token。

从微型语料到训练与验证序列的数据流

生成并保存可复用数据

下面的脚本只依赖 Python 与 PyTorch。语料故意很小,运行后会生成 tokenizer.json、train_ids.pt 和 val_ids.pt,足够支撑后续嵌入、注意力和训练循环的形状验证。

python
from pathlib import Path
import json
import torch

text = "hello gpt\nhello transformer\n"

# 字符级词元器把映射关系完全暴露出来,便于核对后续张量。
chars = sorted(set(text))
stoi = {ch: i for i, ch in enumerate(chars)}
itos = {i: ch for ch, i in stoi.items()}

def encode(s: str) -> list[int]:
    return [stoi[ch] for ch in s]

def decode(ids: list[int]) -> str:
    return "".join(itos[i] for i in ids)

ids = torch.tensor(encode(text), dtype=torch.long)
split = int(len(ids) * 0.8)
train_ids = ids[:split]
val_ids = ids[split:]

out_dir = Path("data-mini-gpt")
out_dir.mkdir(exist_ok=True)
torch.save(train_ids, out_dir / "train_ids.pt")
torch.save(val_ids, out_dir / "val_ids.pt")

# JSON 只保存可移植的词元映射;整数键转成字符串以符合 JSON 对象规则。
tokenizer = {
    "stoi": stoi,
    "itos": {str(i): ch for i, ch in itos.items()},
}
(out_dir / "tokenizer.json").write_text(
    json.dumps(tokenizer, ensure_ascii=False, indent=2),
    encoding="utf-8",
)

print("vocab_size:", len(chars))
print("train_tokens:", len(train_ids))
print("val_tokens:", len(val_ids))
print("round_trip:", decode(encode(text)) == text)
print("saved:", "tokenizer.json train_ids.pt val_ids.pt")

预期输出:

text
vocab_size: 15
train_tokens: 22
val_tokens: 6
round_trip: True
saved: tokenizer.json train_ids.pt val_ids.pt

round_trip: True 是最重要的基本检查:文本经过编码再解码后必须完全一致。保存的两个张量都是一维 torch.long,这正是 nn.Embedding 期望的索引类型。

切分与采样不要混为一谈

这里先按连续顺序做 80%/20% 切分,再在各自分区内部采样训练窗口。这样验证序列不会被训练窗口跨界读取。真正扩大语料时,应先确定训练、验证边界,再用训练数据拟合或训练分词器;本例为了让极小语料中的字符都可编码,直接从整段演示文本建立词表。

对自回归训练而言,一个窗口可以写成 x = ids[i:i+block_size],目标则是 y = ids[i+1:i+block_size+1]。因此某个分区至少要有 block_size + 1 个 token 才能产生一个完整样本,后续设置上下文长度时必须受这个条件约束。

后续实验需要保持的接口

后续模块只需要约定三件事:vocab_size 与词表一致,输入张量使用整数 id,训练与验证分别读取自己的序列。若把字符级词元器替换成 BPE 或其他子词方案,只要仍然提供可逆的 encode、decode 和稳定的词表大小,GPT 主体代码无需跟着改写。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

准备微型语料与词元器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通