机器学习与深度学习 / 系统课时

构建文本分类模型

构建文本分类模型

文本分类模型要把一批不等长的词元序列压缩成固定长度表示,再输出类别 logits。本篇用 Embedding + 双向 GRU + Linear 组成一个可训练的三分类模型,同时正确处理 PAD,最后完成一次反向传播,适合情感分类或主题分类的最小实现。

学习目标

  • 能说明词元 ID、嵌入向量、循环层隐藏状态和分类 logits 的形状变化。
  • 能用 nn.Embedding、nn.GRU 与 nn.Linear 写出可训练文本分类器。
  • 能用真实序列长度绕过右侧 PAD,避免短样本的最终状态被填充位置污染。

从词元 ID 到分类 logits

假设一个 batch 有 N 条文本,最长补到 T 个词元,词表把 PAD 固定为 ID 0。输入张量形状是 N×T;嵌入维度取 E=8,双向 GRU 隐藏维度取 H=12,三分类类别数为 C=3。

文本分类模型从词元到类别 logits 的数据流

阶段 形状 本例参数
词元 ID N×T 3×5
Embedding N×T×E 3×5×8
双向 GRU 最终隐藏状态 2×N×H 2×3×12
前后向拼接 N×2H 3×24
Linear 输出 N×C 3×3

写出可训练模型

pack_padded_sequence 会让循环层只处理每条样本的真实长度。下面示例包含模型、三条补零后的序列、标签、交叉熵损失和一次 Adam 更新,可直接运行;lengths 放到 CPU 是为了兼容该 API 对长度张量的要求。

python
import torch
from torch import nn
from torch.nn.utils.rnn import pack_padded_sequence

class TextClassifier(nn.Module):
    def __init__(self, vocab_size=20, emb_dim=8, hidden_size=12, num_classes=3):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, emb_dim, padding_idx=0)
        self.rnn = nn.GRU(
            input_size=emb_dim,
            hidden_size=hidden_size,
            batch_first=True,
            bidirectional=True,
        )
        self.dropout = nn.Dropout(0.2)
        self.classifier = nn.Linear(hidden_size * 2, num_classes)

    def forward(self, tokens, lengths):
        embedded = self.embedding(tokens)
        packed = pack_padded_sequence(
            embedded,
            lengths.cpu(),
            batch_first=True,
            enforce_sorted=False,
        )
        _, hidden = self.rnn(packed)
        # 最后一层前向和后向隐藏状态各占 hidden 的一行。
        features = torch.cat([hidden[-2], hidden[-1]], dim=1)
        return self.classifier(self.dropout(features))

torch.manual_seed(7)
model = TextClassifier()
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)

# 0 是 PAD;lengths 记录每行真正参与循环计算的词元数量。
tokens = torch.tensor([
    [1, 4, 7, 9, 0],
    [2, 5, 3, 0, 0],
    [6, 8, 1, 4, 2],
], dtype=torch.long)
lengths = torch.tensor([4, 3, 5])
labels = torch.tensor([0, 2, 1])

model.train()
logits = model(tokens, lengths)
loss = nn.functional.cross_entropy(logits, labels)

optimizer.zero_grad()
loss.backward()
optimizer.step()

print("logits shape:", tuple(logits.shape))
print("pred shape:", tuple(logits.argmax(dim=1).shape))
print("loss is finite:", bool(torch.isfinite(loss)))

预期输出

text
logits shape: (3, 3)
pred shape: (3,)
loss is finite: True

这里不打印具体 loss 数值,因为参数初始化和底层实现可能让小数略有差异;形状和有限性才是这个构建阶段需要固定验证的接口契约。

正确处理 PAD 与最终隐藏状态

padding_idx=0 会让嵌入层的第 0 行不参与梯度更新,但这并不等价于“循环层自动忽略 PAD”。如果把右侧补零直接送进 GRU,再取最后时间步,短序列仍会额外经过若干个填充位置,GRU 的偏置和门控仍可能改变状态。

因此本例同时传入 [4, 3, 5] 这样的真实长度,并先打包序列。对单层双向 GRU,hidden[-2] 是最后一层前向状态,hidden[-1] 是最后一层后向状态;拼接后维度正好是 2H=24。长度必须大于 0,空文本应在分词阶段插入专用占位词元或单独过滤,不能把 length=0 直接交给打包 API。

让输出层与标签定义一致

多分类时,最后一层直接输出原始 logits,不要先做 softmax 再传给 cross_entropy。标签应是 torch.long,形状为 N,取值范围是 0 到 C-1;本例三分类标签 [0, 2, 1] 与 Linear(24, 3) 一一对应。

如果任务只有正负两类,可以继续使用 num_classes=2 和交叉熵,这样预测仍是 argmax(dim=1)。若改成单个 logit,则损失函数也要改为 BCEWithLogitsLoss,标签通常转成浮点型;不要把“两输出交叉熵”和“单输出二元损失”混在同一模型里。

训练前至少检查三件事:一个 batch 的 logits.shape == (batch_size, num_classes)、loss 为有限标量、执行 backward() 后嵌入层和 GRU 的参数能得到梯度。通过这些接口检查后,再把真实分词器和 DataLoader 接进来,模型结构本身无需改变。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构建文本分类模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通