机器学习与深度学习 / 系统课时
评估序列模型
评估序列模型
序列分类不能只看一个总 accuracy。未知词比例过高、序列被截断或拉得很长、少数类别样本不足,都可能让总体分数掩盖局部失败。本篇用同一批验证记录同时检查总体准确率、长度分桶、未知词比例和混淆矩阵,并给出可直接用于发布验收的判断方法。
学习目标
- 能在
eval模式和无梯度推理下收集稳定的验证结果。 - 能按未知词比例与序列长度分桶,定位模型在哪类输入上退化。
- 能结合类别分布和混淆矩阵判断少数类是否被总体 accuracy 掩盖。
先固定评估口径
评估集必须与训练集分离,且分词规则完全一致。假设 PAD 为 0、UNK 为 1,每条样本至少记录真实标签、预测标签、截断前或送入模型前的有效长度,以及 UNK 数量。推理阶段应调用 model.eval(),并用 torch.inference_mode() 关闭梯度记录。
本例采用四个口径:总体 accuracy;长度分成 <=8、9~16、>16;未知词比例以 20% 为分界;混淆矩阵按“行是真实类别、列是预测类别”累计。真实项目可以把长度边界换成训练集的 P50、P90,这样比拍脑袋设阈值更稳定。
| 指标 | 本例分组 | 要回答的问题 |
|---|---|---|
| 总体 accuracy | 全部 8 条 | 模型整体是否达到基线 |
| 长度分桶 | <=8、9~16、>16 |
长文本是否明显退化 |
| OOV 分桶 | <20%、>=20% |
未知词是否成为主要错误源 |
| 混淆矩阵 | 3 个类别 | 哪些类别被系统性错分 |
用同一批记录做切片诊断
下面用固定 logits 模拟“已经训练好的模型输出”,这样每次运行都能得到相同指标,重点放在评估代码本身。换成真实模型时,只需让 forward 返回同样形状的 N×C logits,后面的统计逻辑无需改动。
import torch
from torch import nn
from torch.utils.data import DataLoader, TensorDataset
class FixedClassifier(nn.Module):
"""用固定 logits 模拟已训练模型,便于验证评估流程。"""
def __init__(self, logits_table):
super().__init__()
self.register_buffer("logits_table", logits_table)
def forward(self, sample_ids):
return self.logits_table[sample_ids]
def bucket_name(length):
if length <= 8:
return "short(<=8)"
if length <= 16:
return "medium(9-16)"
return "long(>16)"
labels = torch.tensor([0, 0, 0, 0, 1, 1, 2, 2])
lengths = torch.tensor([4, 7, 12, 6, 8, 14, 18, 30])
unk_counts = torch.tensor([0, 0, 1, 2, 0, 4, 1, 8])
preds = torch.tensor([0, 0, 0, 1, 1, 0, 2, 0])
# 最大 logit 的位置等于 preds,用它模拟验证集上的模型预测。
logits_table = torch.full((8, 3), -2.0)
logits_table[torch.arange(8), preds] = 2.0
model = FixedClassifier(logits_table)
loader = DataLoader(
TensorDataset(torch.arange(8), lengths, unk_counts, labels),
batch_size=4,
shuffle=False,
)
confusion = torch.zeros(3, 3, dtype=torch.int64)
length_stats = {}
oov_stats = {"low(<20%)": [0, 0], "high(>=20%)": [0, 0]}
correct = 0
count = 0
model.eval()
with torch.inference_mode():
for sample_ids, batch_lengths, batch_unk, batch_labels in loader:
batch_preds = model(sample_ids).argmax(dim=1)
correct += int((batch_preds == batch_labels).sum())
count += batch_labels.numel()
for y, p, length, unk in zip(batch_labels, batch_preds, batch_lengths, batch_unk):
confusion[y, p] += 1
name = bucket_name(int(length))
length_stats.setdefault(name, [0, 0])
length_stats[name][0] += int(y == p)
length_stats[name][1] += 1
oov_name = "high(>=20%)" if float(unk / length) >= 0.20 else "low(<20%)"
oov_stats[oov_name][0] += int(y == p)
oov_stats[oov_name][1] += 1
print(f"overall accuracy: {correct / count:.3f}")
for name in ["short(<=8)", "medium(9-16)", "long(>16)"]:
c, n = length_stats[name]
print(f"{name}: {c / n:.3f} ({c}/{n})")
for name in ["low(<20%)", "high(>=20%)"]:
c, n = oov_stats[name]
print(f"OOV {name}: {c / n:.3f} ({c}/{n})")
print("confusion matrix:")
print(confusion)预期输出
overall accuracy: 0.625
short(<=8): 0.750 (3/4)
medium(9-16): 0.500 (1/2)
long(>16): 0.500 (1/2)
OOV low(<20%): 1.000 (5/5)
OOV high(>=20%): 0.000 (0/3)
confusion matrix:
tensor([[3, 1, 0],
[1, 1, 0],
[1, 0, 1]])这组数据只有 8 条,不能据此评价真实模型好坏,但它能验证统计方向:同一批预测同时暴露了高 OOV、较长序列和类别召回差异,而不是只留下一个 0.625。
读懂未知词与长度退化
本例中 OOV 低于 20% 的 5 条全部预测正确,高 OOV 的 3 条全部错误,差距达到 100 个百分点。真实验证集出现类似现象时,应先检查词表覆盖率:统计最常见的 UNK 原词,决定是扩大词表、清洗异常字符,还是改用能拆分生词的子词分词方式,而不是直接增加 GRU 隐藏维度。
长度方面,短序列准确率是 75%,中长序列都是 50%。需要继续记录“原始长度”和“截断后长度”:如果大量错误样本都触发了 max_length 截断,先提高截断上限或重新设计保留首尾信息的策略;如果没有截断却仍随长度下降,再考虑更强的池化、注意力或其他能处理长依赖的结构。
检查类别分布而不是只看 accuracy
混淆矩阵第一行 [3, 1, 0] 表示真实类别 0 有 4 条,其中 3 条判对;类别 1 和 2 各只有 2 条,召回率都只有 1/2=50%。因此总体 62.5% 不能说明三个类别表现接近,报告里至少要同时列出每类召回率和支持样本数。
这批标签数量是 [4, 2, 2]。如果训练集也长期保持近似 2:1:1 的失衡,可以先尝试带类别权重的交叉熵,例如 nn.CrossEntropyLoss(weight=torch.tensor([0.6, 1.2, 1.2], device=device));这组权重按逆频率近似归一化,让少数类错误获得更高损失。是否保留权重应由独立验证集上的每类召回率或 macro-F1 决定,不能只看训练 loss 是否下降。
把切片指标变成发布门槛
评估脚本最好输出固定字段并与上一版本比较。一个三分类主题模型可以先设示例门槛:总体 accuracy 不低于 0.85;任一类别 recall 不低于 0.75;高 OOV 桶相对低 OOV 桶下降不超过 0.08;长序列桶相对短序列桶下降不超过 0.08。这些数字应根据业务成本和历史基线调整,但门槛必须在看测试结果前确定。
同时保存词表版本、分词配置、max_length、各桶样本数和类别计数。这样当新模型总体分数上涨、某个少数类或高 OOV 桶却明显退化时,可以直接阻止发布,而不是等线上出现特定文本失败后再追查。