大模型原理与训练 / 系统课时

文本分类微调

文本分类微调

本课将把一组带标签的中文文本整理成可训练数据,使用预训练编码器完成二分类微调,并通过评估指标和单条推理验证模型是否真正具备分类能力。

学习目标

  • 理解文本分类微调的数据、模型与损失计算链路
  • 能使用 Trainer 完成编码器分类模型的训练与评估
  • 能识别数据泄漏、类别失衡和过拟合等常见问题

从分类任务到训练样本

文本分类的输入是一段完整文本,输出是一个离散类别。例如情感分类可以约定 0 表示负向、1 表示正向。训练集中的每条记录至少包含 text 与 label,标签必须从 0 开始连续编号,并与模型的 id2label、label2id 映射保持一致。

微调时,分词器先把文本转换为 input_ids 和 attention_mask;编码器生成整段文本的表示;分类头再输出每个类别的 logits。训练阶段使用真实标签计算交叉熵损失,反向传播会同时更新分类头和编码器参数。

文本分类微调的数据流

数据划分必须在分词和训练之前完成。训练集用于更新参数,验证集用于选择超参数和观察过拟合,测试集只在最终验收时使用。相同评论、同一用户的近重复文本或由同一原文切分出的片段,不应跨集合出现。

完成一次最小微调

下面使用一个小型中文情感数据集演示完整流程。示例能够运行,但样本只用于理解 API,不代表真实模型质量;正式项目应扩大数据量,并单独保留测试集。

先安装运行依赖:

bash
python -m pip install torch transformers datasets accelerate

预期结果:

text
Successfully installed <PACKAGES>

<PACKAGES> 的具体版本与安装日志取决于本机 Python 环境。

将以下代码保存为 train_text_classifier.py 后运行:

python
import numpy as np
import torch
from datasets import Dataset
from transformers import (
    AutoModelForSequenceClassification,
    AutoTokenizer,
    DataCollatorWithPadding,
    Trainer,
    TrainingArguments,
    set_seed,
)

MODEL_NAME = "bert-base-chinese"
ID2LABEL = {0: "负向", 1: "正向"}
LABEL2ID = {label: idx for idx, label in ID2LABEL.items()}

def build_dataset():
    data = {
        "text": [
            "商品质量很好,物流也很快",
            "客服耐心,问题很快解决",
            "包装完整,使用体验不错",
            "功能符合描述,值得购买",
            "到货后无法开机,非常失望",
            "等待时间太长,服务也不好",
            "实物与描述不符,要求退款",
            "质量很差,用了两天就坏了",
        ],
        "label": [1, 1, 1, 1, 0, 0, 0, 0],
    }
    return Dataset.from_dict(data).train_test_split(test_size=0.25, seed=42)

def compute_metrics(eval_pred):
    logits, labels = eval_pred
    predictions = np.argmax(logits, axis=-1)
    accuracy = float((predictions == labels).mean())
    return {"accuracy": accuracy}

def main():
    set_seed(42)
    dataset = build_dataset()
    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)

    def tokenize(batch):
        return tokenizer(batch["text"], truncation=True, max_length=128)

    tokenized = dataset.map(tokenize, batched=True)
    model = AutoModelForSequenceClassification.from_pretrained(
        MODEL_NAME,
        num_labels=2,
        id2label=ID2LABEL,
        label2id=LABEL2ID,
    )

    args = TrainingArguments(
        output_dir="./text-classifier-output",
        learning_rate=2e-5,
        per_device_train_batch_size=4,
        per_device_eval_batch_size=4,
        num_train_epochs=3,
        weight_decay=0.01,
        eval_strategy="epoch",
        save_strategy="no",
        logging_strategy="no",
        disable_tqdm=True,
        report_to="none",
    )

    trainer = Trainer(
        model=model,
        args=args,
        train_dataset=tokenized["train"],
        eval_dataset=tokenized["test"],
        data_collator=DataCollatorWithPadding(tokenizer=tokenizer),
        processing_class=tokenizer,
        compute_metrics=compute_metrics,
    )

    trainer.train()
    metrics = trainer.evaluate()
    print(f"eval_accuracy={metrics['eval_accuracy']:.4f}")

    inputs = tokenizer(
        "物流很快,商品也很好",
        return_tensors="pt",
        truncation=True,
        max_length=128,
    )
    inputs = {name: value.to(trainer.model.device) for name, value in inputs.items()}

    trainer.model.eval()
    with torch.no_grad():
        logits = trainer.model(**inputs).logits
        probabilities = torch.softmax(logits, dim=-1)[0]

    predicted_id = int(torch.argmax(probabilities).item())
    print(f"预测标签={ID2LABEL[predicted_id]}")
    print(f"置信度={float(probabilities[predicted_id]):.4f}")

if __name__ == "__main__":
    main()

预期输出:

text
eval_accuracy=<ACCURACY>
预测标签=<LABEL>
置信度=<PROBABILITY>

<ACCURACY> 和 <PROBABILITY> 会随硬件、依赖版本与训练结果变化,<LABEL> 应为“正向”或“负向”。首次运行还会下载模型文件,下载进度不属于训练结果。

评估结果应该怎样看

准确率适合类别较均衡的单标签分类,但不能单独说明模型可靠。当正负样本比例悬殊时,一个始终预测多数类的模型也可能获得较高准确率,此时还应查看每一类的精确率、召回率、F1 值和混淆矩阵。

训练损失持续下降而验证指标开始变差,通常说明模型正在记忆训练样本。可优先减少训练轮数、增加数据、使用权重衰减或提前停止,而不是盲目增大学习率。验证指标异常接近满分时,应先排查重复样本和数据泄漏。

关键边界与验收

推理时必须复用训练阶段的分词器、最大长度和标签映射。若线上重新定义标签顺序,即使模型参数不变,也会把正确 logits 解释成错误类别。保存模型时应同时保存分词器和配置,部署前再用固定样例执行回归测试。

最小验收应包含三部分:训练过程能够结束且损失为有限值;验证集指标能够计算;至少准备一条明显正向和一条明显负向文本检查输出格式。真实项目还要补充空文本、超长文本、混合语言和领域外文本。

本课总结

  • 文本分类微调由标签数据、分词器、编码器和分类头共同构成
  • 训练、验证与测试数据必须隔离,标签映射必须在训练和推理阶段保持一致
  • 单一准确率不足以证明模型可用,还要结合类别分布和错误样本分析

下一课预告

下一课将把分类粒度从整段文本推进到每个词元,重点解决原始词语与子词词元之间的标签对齐问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

文本分类微调

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通