大模型原理与训练 / 系统课时

文本分词与词元

文本分词与词元

Transformer 不能直接理解原始文字,必须先把文本切成词元并转换为整数编号。本课从字符、单词和子词三种粒度入手,说明词元化如何影响序列长度、词表规模、未知词处理以及模型最终看到的输入。

学习目标

  • 区分字符、单词和子词三种分词粒度
  • 理解词元、词表与词元编号之间的关系
  • 判断分词方式对模型输入长度和表达能力的影响

从文本到模型输入

词元化的任务,是把一段连续文本切分成模型可处理的离散单元。每个单元称为词元,英文常写作 token。模型并不直接接收“自然语言字符串”,而是接收词元对应的整数编号序列。

例如文本 Transformers are powerful. 可以先被切成若干词元,再通过词表映射为编号。词表记录“词元到整数”的固定对应关系;同一个模型在训练和推理时必须使用同一套分词器与词表。

文本到词元再到编号的处理链路

三种常见粒度

字符级分词把每个字符作为一个词元。它几乎不会遇到未知词,词表也较小,但序列会变长,模型需要用更多位置才能组合出单词和语义。

单词级分词以完整单词为单位,序列通常较短,词元也容易理解。不过自然语言中的词形变化、拼写变体和专有名词会快速扩大词表,词表之外的单词还可能被统一替换为未知词元。

子词级分词位于两者之间。高频词可以保留为完整词元,低频词则拆成更小的片段。例如 unhappiness 可能被拆成 un、happi、ness。这种方式兼顾了词表规模、序列长度和未知词处理,因此被多数 Transformer 模型采用。

粒度 主要优点 主要代价
字符 词表小,几乎无未知词 序列长,语义组合负担大
单词 序列短,可读性强 词表膨胀,未知词较多
子词 词表与序列长度较均衡 切分结果不一定符合直觉

用代码观察切分差异

下面的 Python 程序使用一个最小示例,分别执行字符级、空格单词级和预设子词级切分。子词部分用于说明结果形态,不代表真实模型中的训练算法。

python
def char_tokenize(text: str) -> list[str]:
    return list(text)

def word_tokenize(text: str) -> list[str]:
    # 示例只处理空格,真实分词器还会单独处理标点和规范化。
    return text.split()

def demo_subword_tokenize() -> list[str]:
    # 假设词表已经包含这些子词片段。
    return ["un", "happi", "ness"]

def main() -> None:
    text = "unhappiness"
    print("字符级:", char_tokenize(text))
    print("单词级:", word_tokenize(text))
    print("子词级:", demo_subword_tokenize())

if __name__ == "__main__":
    main()

预期输出:

text
字符级: ['u', 'n', 'h', 'a', 'p', 'p', 'i', 'n', 'e', 's', 's']
单词级: ['unhappiness']
子词级: ['un', 'happi', 'ness']

这个结果说明,同一段文本在不同粒度下会产生不同数量的词元。词元越细,序列通常越长;词元越粗,词表通常越大。

词元化如何影响模型

Transformer 的计算量与序列长度密切相关。切分得到的词元越多,占用的上下文窗口越多,注意力计算和显存开销也会增加。相反,过大的词表会扩大嵌入矩阵和输出层参数量。

分词还会影响语义边界。一个罕见术语若被拆成合理子词,模型可以利用已有片段推断含义;若被拆得过碎,模型需要跨多个位置重新组合信息。处理代码、中文、数字和多语言文本时,这种差异尤其明显。

Tips:比较两个模型的上下文长度或调用成本时,不要只比较字符数。相同文本经过不同分词器后,词元数量可能明显不同。

本课总结

  • 词元化把原始文本转换为词元序列,再映射为模型可接收的整数编号
  • 字符级、单词级和子词级分别在序列长度、词表规模与未知词处理之间取舍
  • 分词结果会直接影响上下文占用、计算成本和模型对罕见词的表达能力

下一课预告

下一课将进入子词词表的构建过程,比较 BPE、WordPiece 和 Unigram 如何决定哪些片段应该保留为词元。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

文本分词与词元

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通