机器学习与深度学习 / 系统课时

评估图像分类模型

评估图像分类模型

本课将把分类模型的预测结果转化为可解释的评估结论。除了总体准确率,还会使用混淆矩阵、精确率、召回率和错误样本清单,判断模型究竟把哪些类别混淆,以及下一步应优先补数据、调阈值还是改进模型。

学习目标

  • 计算总体准确率以及各类别的精确率和召回率
  • 按“真实类别为行、预测类别为列”解读混淆矩阵
  • 从错误样本中识别数据质量、类别相似和分布偏差问题

准确率不能回答所有问题

准确率表示预测正确的样本比例:

Accuracy=预测正确的样本数全部样本数\mathrm{Accuracy}=\frac{\text{预测正确的样本数}}{\text{全部样本数}}

当类别分布接近时,准确率能快速反映整体水平;当某个类别占比很高时,只预测多数类也可能得到看似不错的结果。因此,评估时还要分别观察每个类别的精确率和召回率。

精确率回答“预测为某类的样本中有多少是真的”,召回率回答“真实属于某类的样本中有多少被找出来”。二者分别关注误报和漏报。

用混淆矩阵定位混淆方向

三分类混淆矩阵阅读方法

混淆矩阵中的第 ii 行第 jj 列,表示真实类别为 ii、却被预测成 jj 的样本数。主对角线越大越好;最大的非对角线通常就是最值得优先处理的类别混淆。

必须固定类别顺序。若计算矩阵和显示名称时使用了不同顺序,图中的结论会被整体错配。

计算指标并导出错误样本

下面使用一组三分类预测结果完成完整评估。实际项目中,y_true 来自数据集标签,y_pred 来自模型输出最大概率对应的类别编号。

python
from pathlib import Path

import matplotlib.pyplot as plt
from sklearn.metrics import (
    ConfusionMatrixDisplay,
    accuracy_score,
    confusion_matrix,
    precision_recall_fscore_support,
)

class_names = ["cat", "dog", "bird"]
y_true = [0, 0, 1, 1, 1, 2, 2, 2, 2, 0]
y_pred = [0, 1, 1, 1, 2, 2, 0, 2, 2, 0]
sample_paths = [f"image_{index}.jpg" for index in range(len(y_true))]

accuracy = accuracy_score(y_true, y_pred)
precision, recall, _, support = precision_recall_fscore_support(
    y_true,
    y_pred,
    labels=[0, 1, 2],
    zero_division=0,
)
matrix = confusion_matrix(y_true, y_pred, labels=[0, 1, 2])

print(f"accuracy: {accuracy:.2f}")
for index, name in enumerate(class_names):
    print(
        f"{name}: precision={precision[index]:.2f}, "
        f"recall={recall[index]:.2f}, support={support[index]}"
    )

wrong_samples = [
    (path, class_names[truth], class_names[prediction])
    for path, truth, prediction in zip(sample_paths, y_true, y_pred)
    if truth != prediction
]
print("wrong samples:")
for path, truth_name, prediction_name in wrong_samples:
    print(f"- {path}: true={truth_name}, pred={prediction_name}")

# 保存矩阵图,行是真实类别,列是预测类别。
display = ConfusionMatrixDisplay(
    confusion_matrix=matrix,
    display_labels=class_names,
)
display.plot(cmap="Blues", values_format="d")
plt.tight_layout()
plt.savefig("confusion_matrix.png", dpi=150)
print("matrix saved:", Path("confusion_matrix.png"))

预期输出如下:

text
accuracy: 0.70
cat: precision=0.67, recall=0.67, support=3
dog: precision=0.67, recall=0.67, support=3
bird: precision=0.75, recall=0.75, support=4
wrong samples:
- image_1.jpg: true=cat, pred=dog
- image_4.jpg: true=dog, pred=bird
- image_6.jpg: true=bird, pred=cat
matrix saved: confusion_matrix.png

从指标进入错误样本分析

指标告诉你“哪里有问题”,原始样本才能解释“为什么出错”。应把错误样本按真实类别、预测类别和置信度排序,优先检查数量最多或置信度最高的误判。

若同一对类别反复混淆,可能是视觉特征相近或标签定义重叠;若错误集中在模糊、遮挡和极端角度,说明训练数据覆盖不足;若明显错误标签较多,应先清洗数据,而不是继续增加模型复杂度。

评估集必须与训练过程隔离。不要根据测试集反复调参,否则测试结果会逐渐变成调参结果,无法代表模型对新数据的真实泛化能力。

建立可执行的验收标准

模型上线前应同时设置整体指标和类别级指标。例如,要求总体准确率不低于某阈值,同时要求关键类别召回率达到业务底线。对于漏检代价更高的任务,应优先保证召回率;对于误报代价更高的任务,则应优先保证精确率。

每次评估还应保存类别顺序、样本版本和错误样本清单。只有输入数据与映射可追溯,不同训练版本之间的指标比较才有意义。

本课总结

  • 准确率反映整体正确比例,但不能替代类别级精确率和召回率
  • 混淆矩阵通过非对角线揭示具体的误分类方向
  • 错误样本分析应连接指标与数据问题,并转化为补数据、清标签或改模型的行动

下一课预告

下一课将把卷积网络、图像数据管线和评估方法整合为完整训练项目,并加入模型保存、加载与推理验证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估图像分类模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通