机器学习与深度学习 / 系统课时

评估序列模型

评估序列模型

序列分类不能只看一个总 accuracy。未知词比例过高、序列被截断或拉得很长、少数类别样本不足,都可能让总体分数掩盖局部失败。本篇用同一批验证记录同时检查总体准确率、长度分桶、未知词比例和混淆矩阵,并给出可直接用于发布验收的判断方法。

学习目标

  • 能在 eval 模式和无梯度推理下收集稳定的验证结果。
  • 能按未知词比例与序列长度分桶,定位模型在哪类输入上退化。
  • 能结合类别分布和混淆矩阵判断少数类是否被总体 accuracy 掩盖。

先固定评估口径

评估集必须与训练集分离,且分词规则完全一致。假设 PAD 为 0、UNK 为 1,每条样本至少记录真实标签、预测标签、截断前或送入模型前的有效长度,以及 UNK 数量。推理阶段应调用 model.eval(),并用 torch.inference_mode() 关闭梯度记录。

本例采用四个口径:总体 accuracy;长度分成 <=8、9~16、>16;未知词比例以 20% 为分界;混淆矩阵按“行是真实类别、列是预测类别”累计。真实项目可以把长度边界换成训练集的 P50、P90,这样比拍脑袋设阈值更稳定。

指标 本例分组 要回答的问题
总体 accuracy 全部 8 条 模型整体是否达到基线
长度分桶 <=8、9~16、>16 长文本是否明显退化
OOV 分桶 <20%、>=20% 未知词是否成为主要错误源
混淆矩阵 3 个类别 哪些类别被系统性错分

用同一批记录做切片诊断

下面用固定 logits 模拟“已经训练好的模型输出”,这样每次运行都能得到相同指标,重点放在评估代码本身。换成真实模型时,只需让 forward 返回同样形状的 N×C logits,后面的统计逻辑无需改动。

python
import torch
from torch import nn
from torch.utils.data import DataLoader, TensorDataset

class FixedClassifier(nn.Module):
    """用固定 logits 模拟已训练模型,便于验证评估流程。"""
    def __init__(self, logits_table):
        super().__init__()
        self.register_buffer("logits_table", logits_table)

    def forward(self, sample_ids):
        return self.logits_table[sample_ids]

def bucket_name(length):
    if length <= 8:
        return "short(<=8)"
    if length <= 16:
        return "medium(9-16)"
    return "long(>16)"

labels = torch.tensor([0, 0, 0, 0, 1, 1, 2, 2])
lengths = torch.tensor([4, 7, 12, 6, 8, 14, 18, 30])
unk_counts = torch.tensor([0, 0, 1, 2, 0, 4, 1, 8])
preds = torch.tensor([0, 0, 0, 1, 1, 0, 2, 0])

# 最大 logit 的位置等于 preds,用它模拟验证集上的模型预测。
logits_table = torch.full((8, 3), -2.0)
logits_table[torch.arange(8), preds] = 2.0
model = FixedClassifier(logits_table)
loader = DataLoader(
    TensorDataset(torch.arange(8), lengths, unk_counts, labels),
    batch_size=4,
    shuffle=False,
)

confusion = torch.zeros(3, 3, dtype=torch.int64)
length_stats = {}
oov_stats = {"low(<20%)": [0, 0], "high(>=20%)": [0, 0]}
correct = 0
count = 0

model.eval()
with torch.inference_mode():
    for sample_ids, batch_lengths, batch_unk, batch_labels in loader:
        batch_preds = model(sample_ids).argmax(dim=1)
        correct += int((batch_preds == batch_labels).sum())
        count += batch_labels.numel()

        for y, p, length, unk in zip(batch_labels, batch_preds, batch_lengths, batch_unk):
            confusion[y, p] += 1
            name = bucket_name(int(length))
            length_stats.setdefault(name, [0, 0])
            length_stats[name][0] += int(y == p)
            length_stats[name][1] += 1

            oov_name = "high(>=20%)" if float(unk / length) >= 0.20 else "low(<20%)"
            oov_stats[oov_name][0] += int(y == p)
            oov_stats[oov_name][1] += 1

print(f"overall accuracy: {correct / count:.3f}")
for name in ["short(<=8)", "medium(9-16)", "long(>16)"]:
    c, n = length_stats[name]
    print(f"{name}: {c / n:.3f} ({c}/{n})")
for name in ["low(<20%)", "high(>=20%)"]:
    c, n = oov_stats[name]
    print(f"OOV {name}: {c / n:.3f} ({c}/{n})")
print("confusion matrix:")
print(confusion)

预期输出

text
overall accuracy: 0.625
short(<=8): 0.750 (3/4)
medium(9-16): 0.500 (1/2)
long(>16): 0.500 (1/2)
OOV low(<20%): 1.000 (5/5)
OOV high(>=20%): 0.000 (0/3)
confusion matrix:
tensor([[3, 1, 0],
        [1, 1, 0],
        [1, 0, 1]])

这组数据只有 8 条,不能据此评价真实模型好坏,但它能验证统计方向:同一批预测同时暴露了高 OOV、较长序列和类别召回差异,而不是只留下一个 0.625。

读懂未知词与长度退化

本例中 OOV 低于 20% 的 5 条全部预测正确,高 OOV 的 3 条全部错误,差距达到 100 个百分点。真实验证集出现类似现象时,应先检查词表覆盖率:统计最常见的 UNK 原词,决定是扩大词表、清洗异常字符,还是改用能拆分生词的子词分词方式,而不是直接增加 GRU 隐藏维度。

长度方面,短序列准确率是 75%,中长序列都是 50%。需要继续记录“原始长度”和“截断后长度”:如果大量错误样本都触发了 max_length 截断,先提高截断上限或重新设计保留首尾信息的策略;如果没有截断却仍随长度下降,再考虑更强的池化、注意力或其他能处理长依赖的结构。

检查类别分布而不是只看 accuracy

混淆矩阵第一行 [3, 1, 0] 表示真实类别 0 有 4 条,其中 3 条判对;类别 1 和 2 各只有 2 条,召回率都只有 1/2=50%。因此总体 62.5% 不能说明三个类别表现接近,报告里至少要同时列出每类召回率和支持样本数。

这批标签数量是 [4, 2, 2]。如果训练集也长期保持近似 2:1:1 的失衡,可以先尝试带类别权重的交叉熵,例如 nn.CrossEntropyLoss(weight=torch.tensor([0.6, 1.2, 1.2], device=device));这组权重按逆频率近似归一化,让少数类错误获得更高损失。是否保留权重应由独立验证集上的每类召回率或 macro-F1 决定,不能只看训练 loss 是否下降。

把切片指标变成发布门槛

评估脚本最好输出固定字段并与上一版本比较。一个三分类主题模型可以先设示例门槛:总体 accuracy 不低于 0.85;任一类别 recall 不低于 0.75;高 OOV 桶相对低 OOV 桶下降不超过 0.08;长序列桶相对短序列桶下降不超过 0.08。这些数字应根据业务成本和历史基线调整,但门槛必须在看测试结果前确定。

同时保存词表版本、分词配置、max_length、各桶样本数和类别计数。这样当新模型总体分数上涨、某个少数类或高 OOV 桶却明显退化时,可以直接阻止发布,而不是等线上出现特定文本失败后再追查。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估序列模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通