机器学习与深度学习 / 系统课时

用混淆矩阵定位易错类别

用混淆矩阵定位易错类别

整体准确率只能告诉你“错了多少”,却不能说明“哪些类别互相错”。混淆矩阵把真实类别与预测类别交叉统计,可以快速发现成对混淆、单向偏置和弱类别,再把问题追到数据质量、类别边界或模型表达能力。

学习目标

  • 正确读取混淆矩阵的行、列、对角线和非对角线含义
  • 生成混淆矩阵并找出最频繁的类别混淆方向
  • 结合错误样本区分数据问题、类别定义问题和模型表达不足

先读对角线和非对角线

约定“行是真实类别、列是预测类别”后,对角线表示预测正确,非对角线表示误分类。某个非对角线单元格越大,就说明对应的真实类别越容易被预测成另一个类别。

三类别混淆矩阵解读

生成并排序高频混淆

下面示例使用三个类别生成混淆矩阵,同时遍历所有非对角线单元格,按错误次数从高到低输出。这样既能看热力图,也能得到可直接进入排查清单的类别对。

python
import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay

labels = ['cat', 'dog', 'fox']
y_true = [
    'cat', 'cat', 'cat', 'cat', 'cat',
    'dog', 'dog', 'dog', 'dog', 'dog',
    'fox', 'fox', 'fox', 'fox', 'fox'
]
y_pred = [
    'cat', 'cat', 'dog', 'dog', 'cat',
    'dog', 'dog', 'dog', 'cat', 'cat',
    'fox', 'fox', 'fox', 'fox', 'dog'
]

cm = confusion_matrix(y_true, y_pred, labels=labels)
print(cm)

errors = []
for true_idx, true_name in enumerate(labels):
    for pred_idx, pred_name in enumerate(labels):
        if true_idx != pred_idx and cm[true_idx, pred_idx] > 0:
            errors.append((int(cm[true_idx, pred_idx]), true_name, pred_name))

for count, true_name, pred_name in sorted(errors, reverse=True):
    print(f'{true_name} -> {pred_name}: {count}')

ConfusionMatrixDisplay(cm, display_labels=labels).plot(cmap='Blues', values_format='d')
plt.tight_layout()
plt.show()

预期输出

text
[[3 2 0]
 [2 3 0]
 [0 1 4]]
dog -> cat: 2
cat -> dog: 2
fox -> dog: 1

这里最明显的是 cat 与 dog 的双向混淆;fox 主要被错成 dog,但 dog 并没有被错成 fox。双向与单向模式往往对应不同问题,因此不能只比较每一类的召回率。

从混淆方向追到错误样本

看到高频混淆后,下一步应抽取对应类别对的原图,而不是立刻改网络。若 cat→dog 与 dog→cat 的错误样本都具有相似姿态、遮挡或背景,说明类别视觉边界本身较难;若错误集中在模糊图、错标图或裁剪失败图,先修数据更有效。

若某个类别大量被预测成多个其他类别,而其他类别很少被预测成它,通常要检查该类是否样本太少、类内差异过大或标签定义过宽。反之,若许多类别都被预测成同一个类,应检查类别不平衡、决策阈值或训练数据中的背景捷径。

决定先改数据还是改模型

数据问题的证据包括错标、重复样本、分辨率异常、训练验证分布不一致和类别定义重叠;这些问题应先修数据集。若错误样本本身清晰、标签可靠,但模型持续混淆细粒度特征,则再考虑提高输入分辨率、增强骨干网络、加入更有针对性的增强或重新设计分类头。

混淆矩阵最适合回答“错误集中在哪里”,错误样本则回答“为什么会错”。把两者连起来,才能避免根据单一准确率或一张热力图做过度推断。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用混淆矩阵定位易错类别

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通