大模型原理与训练 / 系统课时
把文本变成可训练的整数序列
把文本变成可训练的整数序列
语言模型不能直接读取字符串,训练前必须把文本稳定地映射为整数 Token ID。本节用最小字符级词表实现 encode 与 decode,并验证编码可逆,最终得到可交给张量和模型的整数序列。
学习目标
- 从训练文本构造字符级词表与双向映射
- 实现可运行的
encode和decode并验证往返一致 - 理解 Token ID、词表大小与模型输入输出维度的关系
字符级编码的核心映射
字符级 Tokenizer 把每个不同字符当作一个 Token。先收集文本中的唯一字符,再为它们分配整数 ID;编码时查 stoi,解码时查 itos。只要训练和推理使用同一份映射,同一个整数就始终代表同一个字符。
为保证示例每次运行得到相同 ID,可以对字符集合排序后编号。排序本身没有语言学含义,它只是让词表构造具有确定性。
实现 encode 与 decode
下面的程序从一段文本构造词表,完成双向转换,并检查解码结果是否回到原字符串。
text = "hello nanoGPT"
chars = sorted(set(text))
# 两张表分别负责字符到 ID、ID 到字符的可逆映射。
stoi = {ch: i for i, ch in enumerate(chars)}
itos = {i: ch for ch, i in stoi.items()}
def encode(s: str) -> list[int]:
return [stoi[ch] for ch in s]
def decode(ids: list[int]) -> str:
return "".join(itos[i] for i in ids)
encoded = encode(text)
print("vocab_size:", len(chars))
print("vocab:", chars)
print("encoded:", encoded)
print("decoded:", decode(encoded))预期输出
vocab_size: 10
vocab: [' ', 'G', 'P', 'T', 'a', 'e', 'h', 'l', 'n', 'o']
encoded: [6, 5, 7, 7, 9, 0, 8, 4, 8, 9, 1, 2, 3]
decoded: hello nanoGPT这里的 encoded 已经是语言模型能够处理的数据形态之一。实际训练时通常还会把整数列表转换为 torch.long 张量,因为 Embedding 层接收的是离散索引,而不是原始字符。
Token ID 如何进入语言模型
假设词表大小为 ,每个 Token ID 都落在 到 。输入端使用 ID 查询 Embedding 表,把一个整数变成连续向量;输出端通常产生长度为 的 logits,用来表示下一个 Token 属于每个词表项的相对可能性。
因此,词表不是一次性预处理细节,而是模型参数含义的一部分。若训练后重新按另一批文本构造词表,即使词表大小相同,ID 与字符的对应关系也可能变化,已有权重就会被错误解释。训练时应把词表或等价的 Tokenizer 配置与模型一起保存。
处理未登录字符
这个最小实现遇到词表之外的字符时,stoi[ch] 会抛出 KeyError。教学阶段可以把它当成明确的输入约束:训练集和待编码文本必须共享同一字符集合。更完整的系统会预定义词表并设计未知 Token 或直接使用子词 Tokenizer。
字符级编码的价值在于机制透明:字符串先变成稳定的整数序列,模型之后只处理这些 ID。只要 decode(encode(text)) == text 且词表映射被持久化,后续就可以安全地进入批次构造和训练。