大模型原理与训练 / 系统课时

分类任务指标

分类任务指标

本课解决分类模型“到底好不好”的判断问题。你将从混淆矩阵出发计算准确率、精确率、召回率和 F1 分数,并能根据类别不均衡与业务代价选择合适指标。

学习目标

  • 读懂 TP、TN、FP、FN 四类预测结果
  • 独立计算准确率、精确率、召回率和 F1 分数
  • 根据误报、漏报与类别分布选择核心指标

从混淆矩阵开始

二分类评估必须先确定“正类”。假设把“欺诈交易”设为正类,模型输出可归入四种情况。

实际情况 预测为正类 预测为负类
正类 TP,真正例 FN,假负例
负类 FP,假正例 TN,真负例

FP 表示误报,例如正常交易被拦截;FN 表示漏报,例如欺诈交易未被识别。两者的业务代价通常不同,因此不能只看预测正确的总数。

四个核心指标

准确率衡量全部样本中预测正确的比例:

Accuracy=(TP+TN)/(TP+TN+FP+FN)Accuracy=(TP+TN)/(TP+TN+FP+FN)

精确率回答“模型判为正类的样本中,有多少是真的”:

Precision=TP/(TP+FP)Precision=TP/(TP+FP)

召回率回答“全部真实正类中,有多少被模型找到了”:

Recall=TP/(TP+FN)Recall=TP/(TP+FN)

F1 分数是精确率与召回率的调和平均,用于同时约束误报和漏报:

F1=2×Precision×Recall/(Precision+Recall)F1=2\times Precision\times Recall/(Precision+Recall)

用 Python 完成计算

下面的示例只依赖 Python 标准库。四个计数可以直接来自测试集的混淆矩阵。

python
tp = 42
tn = 50
fp = 8
fn = 10

total = tp + tn + fp + fn
accuracy = (tp + tn) / total
precision = tp / (tp + fp)
recall = tp / (tp + fn)
f1 = 2 * precision * recall / (precision + recall)

print(f"accuracy={accuracy:.4f}")
print(f"precision={precision:.4f}")
print(f"recall={recall:.4f}")
print(f"f1={f1:.4f}")

预期输出

text
accuracy=0.8364
precision=0.8400
recall=0.8077
f1=0.8235

实际项目中还应处理分母为零的情况。例如模型从未预测正类时,TP + FP 为零,精确率需要按评估框架约定返回 0 或标记为不可定义。

如何选择指标

类别较均衡,且误报与漏报代价接近时,准确率可以作为整体指标。正类很少时,准确率容易制造错觉:若正类只占 1%,全部预测为负类也能得到 99% 的准确率。

误报代价高时优先关注精确率,例如人工审核资源有限;漏报代价高时优先关注召回率,例如欺诈检测或疾病筛查。两者都重要且需要一个综合数值时,可使用 F1。

多分类任务还要说明平均方式。宏平均先分别计算每个类别再取平均,更重视少数类;微平均先汇总各类别的 TP、FP、FN,更接近样本整体表现。报告指标时应同时写明正类定义、数据集范围和平均方式。

常见误区

不要只在训练集上计算指标,否则结果通常过于乐观。分类阈值也会改变精确率和召回率:提高判为正类的门槛,往往提升精确率并降低召回率,因此应在验证集上结合业务目标选择阈值。

单个 F1 分数也不能反映 TN。如果负类识别同样关键,应同时查看混淆矩阵、每类指标,必要时补充 ROC-AUC 或 PR-AUC。

本课总结

  • 四个分类指标都建立在 TP、TN、FP、FN 之上
  • 类别不均衡时,准确率不能单独代表模型质量
  • 指标选择应由误报与漏报的业务代价决定

下一课预告

下一课将进入语言模型评估,理解困惑度如何由平均交叉熵得到,以及为什么困惑度较低也不一定代表生成质量更好。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分类任务指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通