机器学习与深度学习 / 系统课时

完成文本分词

完成文本分词

把原始文本交给神经网络前,需要先统一大小写和标点处理、切成词元、建立词表,再把词元映射为整数 ID。本篇使用 TensorFlow 的 TextVectorization 完成这一整条路径,并明确 Padding、OOV、固定长度和训练集适配的规则。

学习目标

  • 使用 TextVectorization 完成标准化、分词、建词表和整数化。
  • 读懂词表中 Padding、OOV 与普通词元的索引位置。
  • 正确设置固定序列长度,并避免用验证集或测试集建立词表。

用 TextVectorization 建立词表

适用 TensorFlow 2.16+。TextVectorization 默认可执行小写化并去除标点;这里显式写出 standardize="lower_and_strip_punctuation" 和 split="whitespace",再通过 adapt() 只学习训练语料中的词频与词表。

原始文本到整数序列的文本向量化流程

python
import tensorflow as tf

train_texts = tf.constant([
    "tensorflow tensorflow sequence text models",
    "tensorflow sequence text",
    "tensorflow sequence",
    "tensorflow",
])

vectorizer = tf.keras.layers.TextVectorization(
    max_tokens=20,
    standardize="lower_and_strip_punctuation",
    split="whitespace",
    output_mode="int",
    output_sequence_length=6,
)

# adapt 只用于训练语料,确定词表及索引。
vectorizer.adapt(train_texts)

print("vocab:", vectorizer.get_vocabulary())
test = tf.constant(["tensorflow sequence unknown text"])
print("ids:", vectorizer(test).numpy().tolist())

预期输出:

text
vocab: ['', '[UNK]', 'tensorflow', 'sequence', 'text', 'models']
ids: [[2, 3, 1, 4, 0, 0]]

这个例子中词频没有并列,因此普通词元索引是确定的。真实项目若存在相同词频,不要在业务代码里硬编码某个词的数字 ID;应通过已保存的 TextVectorization 层或导出的词表复用同一套映射。

读懂 Padding、OOV 与普通词元

当 output_mode="int" 时,索引 0 保留给 Mask/Padding,索引 1 是单个 OOV 位置,2 开始才是词表中的普通词元。所以上例里的未知词 unknown 被映射为 1,而不足 6 个词元的位置补成 0。

索引 含义 上例
0 Padding / Mask 句尾两个补齐位置
1 OOV,词表外词元 unknown
2 普通词元 tensorflow
3 普通词元 sequence
4 普通词元 text

max_tokens=20 表示词表总容量上限包含保留项,因此并不等于“最多 20 个业务词”。如果要控制模型规模,应直接检查 len(vectorizer.get_vocabulary()),并把该值作为后续 Embedding(input_dim=...) 的输入维度,而不是自行猜测。

固定输出长度并决定截断位置

output_sequence_length=6 会把每条文本整理为长度 6:短文本在尾部补 0,长文本则截断到前 6 个词元。若任务中的关键信息常出现在句尾,比如客服工单最后才出现“无法退款”,不能只凭默认前截断策略决定长度,应先统计训练集词元长度分布。

一个可操作的做法是记录 P95 和 P99。假设训练集中 P95=74、P99=143,而单批显存预算允许长度 96,那么可先设 output_sequence_length=96,再人工检查被截断的 5% 样本中是否集中出现关键标签线索;若有,再改用更长长度或分段输入。

词表只能从训练数据学习

数据集应先划分 Train、Validation、Test,再调用 adapt(train_texts)。如果先对全量文本 adapt(),验证集和测试集中的词会提前进入词表,虽然没有读取标签,也已经把未来数据的词汇分布泄漏给预处理流程。

正确的数据边界是:Train 决定标准化规则、词表和索引;Validation 与 Test 只调用已经适配完成的同一个向量化层。部署时也必须复用这份词表,让线上输入里的 tensorflow 仍映射到训练时的同一个 ID,而新词统一进入 OOV。

如果 TextVectorization 被放进 Keras 模型并随模型保存,部署端可以直接复用同一层;如果你选择离线预处理,则至少要把 get_vocabulary() 的结果和标准化、分词、序列长度参数一起版本化,避免训练与推理出现“同一个词,不同索引”的问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

完成文本分词

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通