大模型原理与训练 / 系统课时

词表与特殊标记

词表与特殊标记

词表把文本中的词元转换成模型可处理的整数编号,特殊标记则负责补齐、分隔、启动生成或承载分类信息。本课将建立一套清晰的判断方法,帮助你理解这些标记为何存在,以及它们怎样影响输入和输出。

学习目标

  • 理解词表、词元编号与特殊标记之间的关系
  • 说清 [UNK]、[PAD]、开始、结束和分类标记的用途
  • 避免把特殊标记当作普通文字或忽略对应掩码

词表解决什么问题

模型不能直接计算“苹果”“支付”这类字符串,它接收的是整数序列。分词器先把文本拆成词元,再根据词表为每个词元查找唯一编号。例如,同一个词元只要使用同一份词表,就会稳定地映射到同一个 ID。

词表大小是有限的,因此它不仅决定模型能够直接识别哪些词元,也决定嵌入矩阵需要多少行。训练、微调和推理必须使用与模型匹配的词表,否则同一个编号可能代表完全不同的内容。

五类常见特殊标记

标记类型 常见写法 主要作用
未知词 [UNK]、<unk> 词元不在词表中时提供回退编号
填充 [PAD]、<pad> 将不同长度的序列补到同一长度
开始 [BOS]、<s> 告诉生成模型序列从这里开始
结束 [EOS]、</s> 表示生成或输入序列已经结束
分类 [CLS] 提供一个用于汇总整段信息的位置

子词或字节级分词器通常能把生词拆得更细,因此 [UNK] 出现得较少,但并不代表所有模型都可以删除它。[PAD] 只负责形状对齐,模型还需要注意力掩码,才能避免把填充位置当作真实内容。

特殊标记在序列中的位置

不同模型怎样使用它们

编码器模型常在序列开头放置 [CLS],并把它经过多层计算后的向量交给分类头。自回归生成模型更关注开始和结束标记:开始标记提供首个输入位置,结束标记则告诉解码过程何时停止。

标记名称并不统一。某些模型使用 <s> 和 </s>,某些模型用 [SEP] 分隔句子,还有些模型根本没有 [CLS]。判断用途时应查看分词器配置和模型文档,而不是只凭标记长相推断。

常见误区

不要把 [PAD] 与“空字符串”等同。即使填充值看起来没有语义,只要掩码配置错误,它仍可能参与注意力计算并污染结果。也不要手工替换或新增特殊标记后直接推理,因为新增标记需要扩展嵌入矩阵,并让对应向量经过训练。

[EOS] 表示序列结束,[SEP] 更常用于分隔片段,两者在部分模型中可能复用同一个编号,但逻辑角色仍应结合具体任务理解。

本课总结

  • 词表负责把词元稳定映射为整数编号,必须与模型保持一致
  • 特殊标记承担未知词回退、批量补齐、序列边界和分类汇总等职责
  • 填充标记必须配合注意力掩码,特殊标记也不能脱离模型约定随意修改

下一课预告

下一课将进入词元嵌入,观察这些离散编号如何通过嵌入矩阵变成可训练的连续向量。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

词表与特殊标记

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通