机器学习与深度学习 / 系统课时

评估图像分类模型

评估图像分类模型

单看总体准确率很容易掩盖某些类别的失败。本课用固定预测结果构造混淆矩阵,并从中计算每类 Precision、Recall、F1,以及 Macro F1 和 Weighted F1,最后给出图像分类中可直接采用的评估顺序。

学习目标

  • 根据真实标签和预测标签构造混淆矩阵。
  • 从 TP、FP、FN 计算每个类别的 Precision、Recall 和 F1。
  • 区分 Accuracy、Macro F1 与 Weighted F1 的适用场景。

先固定混淆矩阵的方向

这里约定“行是真实类别,列是预测类别”。例如三分类矩阵中,第 2 行第 3 列的值表示真实为类别 1、却被预测成类别 2 的样本数。方向一旦写反,后续 Recall 和 Precision 都会被解释错。

下面用 9 个样本构造三分类混淆矩阵。torch.bincount 不依赖额外指标库,适合在纯 PyTorch 评估脚本中直接使用。

python
import torch

y_true = torch.tensor([0, 0, 1, 1, 1, 2, 2, 2, 2])
y_pred = torch.tensor([0, 1, 1, 1, 2, 2, 0, 2, 2])

num_classes = 3
index = y_true * num_classes + y_pred
cm = torch.bincount(
    index, minlength=num_classes * num_classes
).reshape(num_classes, num_classes)

print(cm)

预期输出

text
tensor([[1, 1, 0],
        [0, 2, 1],
        [1, 0, 3]])

三分类混淆矩阵与错误流向

从矩阵计算分类指标

对某一类别而言,Precision 关注“预测成这个类别的样本里有多少是真的”,Recall 关注“真实属于这个类别的样本里有多少被找回来”。F1 是二者的调和平均,适合需要同时控制漏判和误判的场景。

python
import torch

cm = torch.tensor([
    [1, 1, 0],
    [0, 2, 1],
    [1, 0, 3],
], dtype=torch.float32)

tp = cm.diag()
precision = tp / cm.sum(dim=0).clamp_min(1)
recall = tp / cm.sum(dim=1).clamp_min(1)
f1 = 2 * precision * recall / (precision + recall).clamp_min(1e-12)

accuracy = tp.sum() / cm.sum()
macro_f1 = f1.mean()
support = cm.sum(dim=1)
weighted_f1 = (f1 * support / support.sum()).sum()

print("precision:", [round(v, 4) for v in precision.tolist()])
print("recall:", [round(v, 4) for v in recall.tolist()])
print("f1:", [round(v, 4) for v in f1.tolist()])
print("accuracy:", round(accuracy.item(), 4))
print("macro_f1:", round(macro_f1.item(), 4))
print("weighted_f1:", round(weighted_f1.item(), 4))

预期输出

text
precision: [0.5, 0.6667, 0.75]
recall: [0.5, 0.6667, 0.75]
f1: [0.5, 0.6667, 0.75]
accuracy: 0.6667
macro_f1: 0.6389
weighted_f1: 0.6667

当某个类别没有任何预测样本时,Precision 的分母会变成 0;示例用 clamp_min(1) 避免除零。在正式报告里还应把该类的 support 一并展示,避免把“样本极少”误解为“模型稳定”。

用 Macro 和 Weighted 看类别不均衡

Accuracy 对大类最敏感。假设验证集有 1000 张图,其中类别 A 有 900 张、B 和 C 各 50 张;模型只会预测 A,也能得到 90% Accuracy,但 B、C 的 Recall 都是 0。

Macro F1 先分别计算每个类别的 F1 再平均,因此每类权重相同,适合关注少数类表现。Weighted F1 按各类别样本数加权,更接近整体数据分布。在类别明显不均衡时,至少同时报告 Accuracy、Macro F1 和每类 Recall。

指标 关注点 适合回答的问题
Accuracy 全部样本总体正确率 模型整体猜对多少
Macro F1 每个类别同等权重 少数类是否被大类掩盖
Weighted F1 按样本数加权 按真实数据占比看综合表现
Per-class Recall 单类漏判情况 哪一类最容易被漏掉

把指标接到验证循环

真实图像分类验证时,在 model.eval() 和 torch.no_grad() 下收集每个 batch 的预测类别,再一次性计算混淆矩阵。不要在训练 batch 上报告最终指标,也不要只挑最高 Accuracy 的单个 batch。

python
import torch

def collect_predictions(model, dataloader, device):
    model.eval()
    all_true = []
    all_pred = []

    with torch.no_grad():
        for images, labels in dataloader:
            images = images.to(device)
            labels = labels.to(device)

            logits = model(images)
            preds = logits.argmax(dim=1)

            all_true.append(labels.cpu())
            all_pred.append(preds.cpu())

    return torch.cat(all_true), torch.cat(all_pred)

这是片段示例,依赖已创建的 model、dataloader 和 device。生效行为是完整遍历验证集后返回两个一维张量,长度都应等于验证集样本数;验证时检查 len(y_true) == len(dataloader.dataset),再把它们交给前面的混淆矩阵计算逻辑。

最终评估时先看混淆矩阵定位“哪些类别互相混淆”,再看每类 Recall 和 F1 确认问题严重程度,最后用 Macro F1 与 Accuracy 判断模型是否只是在多数类上表现好。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估图像分类模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通