机器学习与深度学习 / 系统课时

构建文本词表

构建文本词表

文本模型不能直接处理单词字符串,需要先把文本稳定地切成词元,再把词元映射为整数索引。本篇完成一条可复现的最小词表流水线,并处理低频词、未知词和训练集之外的新词。

学习目标

  • 用固定规则完成分词与词频统计。
  • 生成确定性的 token -> id 和 id -> token 映射。
  • 使用 <pad>、<unk> 和最小词频处理真实数据中的边界情况。

先固定分词规则

词表的输入不是原始字符串,而是分词后的词元。训练和推理必须使用同一套规则,否则同一句话可能得到不同索引。一个简单英文基线可以先统一转小写,再只提取字母序列;真实项目若使用子词模型,也应把分词器版本与模型一起保存。

示例中只用训练语料构建词表,避免把验证集或测试集的新词提前泄漏进词表。假设训练文本为三句,PyTorch 与 pytorch 会在小写化后合并为同一个词元。

从词频生成稳定索引

下面示例适用于 Python 3.10+ 与 PyTorch 2.x。min_freq=2 会过滤只出现一次的 clear 和 makes;频率相同时再按字典序排序,从而让相同语料每次生成相同索引。

python
import re
from collections import Counter

import torch


def tokenize(text: str) -> list[str]:
    return re.findall(r"[a-z]+", text.lower())


def build_vocab(counter: Counter, min_freq: int = 2):
    specials = ['<pad>', '<unk>']
    kept = [token for token, freq in counter.items() if freq >= min_freq]
    kept.sort(key=lambda token: (-counter[token], token))

    itos = specials + kept
    stoi = {token: idx for idx, token in enumerate(itos)}
    return stoi, itos


docs = [
    'PyTorch makes tensor code clear.',
    'Tensor code needs data.',
    'PyTorch needs data.',
]

counter = Counter(token for doc in docs for token in tokenize(doc))
stoi, itos = build_vocab(counter, min_freq=2)

sample = 'PyTorch needs unseen data.'
ids = [stoi.get(token, stoi['<unk>']) for token in tokenize(sample)]
encoded = torch.tensor(ids, dtype=torch.long)

print(sorted(counter.items()))
print(stoi)
print(encoded.tolist())

预期输出

text
[('clear', 1), ('code', 2), ('data', 2), ('makes', 1), ('needs', 2), ('pytorch', 2), ('tensor', 2)]
{'<pad>': 0, '<unk>': 1, 'code': 2, 'data': 3, 'needs': 4, 'pytorch': 5, 'tensor': 6}
[5, 4, 1, 3]

文本到词元索引的词表构建数据流

这条流水线的关键不是“把词放进字典”本身,而是让过滤条件、排序规则和特殊词元位置都可复现。否则重新训练或部署时,只要索引顺序变化,同一个整数就可能指向另一个词,已有模型参数会立刻失去意义。

特殊词元要先占固定索引

常见做法是把 <pad> 固定为 0、<unk> 固定为 1。批处理时可直接用 0 补齐短序列;编码遇到词表外词元时则回退到 1。只有模型确实需要句首、句尾或掩码任务时,才额外加入 <bos>、<eos>、<mask>,不要无条件增加特殊词元。

min_freq 要和数据规模一起定。只有几十句的小数据集若设成 5,可能丢掉大量有意义词;百万句语料设成 1 又可能让拼写错误占据巨大词表。上面的三句演示用 2 是为了清楚显示过滤效果,真实项目应先查看词频分布再决定阈值。

冻结词表后再编码验证集和测试集

词表一旦由训练集生成,就应冻结映射。验证集、测试集和线上新文本只能查询现有 stoi,找不到的词统一映射到 <unk>,不能临时追加新索引。以示例中的 unseen 为例,它在训练语料中不存在,因此编码结果明确落到索引 1。

保存模型时,应把词表内容、分词规则和关键参数一起保存,例如记录 min_freq=2、特殊词元顺序以及完整 itos 列表。加载模型后先检查 <pad> 和 <unk> 的索引是否仍为 0、1,再做一条固定文本的编码回归测试;只要索引序列变化,就应停止推理并检查词表版本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构建文本词表

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通