大模型原理与训练 / 系统课时
分类任务指标
分类任务指标
本课解决分类模型“到底好不好”的判断问题。你将从混淆矩阵出发计算准确率、精确率、召回率和 F1 分数,并能根据类别不均衡与业务代价选择合适指标。
学习目标
- 读懂 TP、TN、FP、FN 四类预测结果
- 独立计算准确率、精确率、召回率和 F1 分数
- 根据误报、漏报与类别分布选择核心指标
从混淆矩阵开始
二分类评估必须先确定“正类”。假设把“欺诈交易”设为正类,模型输出可归入四种情况。
| 实际情况 | 预测为正类 | 预测为负类 |
|---|---|---|
| 正类 | TP,真正例 | FN,假负例 |
| 负类 | FP,假正例 | TN,真负例 |
FP 表示误报,例如正常交易被拦截;FN 表示漏报,例如欺诈交易未被识别。两者的业务代价通常不同,因此不能只看预测正确的总数。
四个核心指标
准确率衡量全部样本中预测正确的比例:
精确率回答“模型判为正类的样本中,有多少是真的”:
召回率回答“全部真实正类中,有多少被模型找到了”:
F1 分数是精确率与召回率的调和平均,用于同时约束误报和漏报:
用 Python 完成计算
下面的示例只依赖 Python 标准库。四个计数可以直接来自测试集的混淆矩阵。
tp = 42
tn = 50
fp = 8
fn = 10
total = tp + tn + fp + fn
accuracy = (tp + tn) / total
precision = tp / (tp + fp)
recall = tp / (tp + fn)
f1 = 2 * precision * recall / (precision + recall)
print(f"accuracy={accuracy:.4f}")
print(f"precision={precision:.4f}")
print(f"recall={recall:.4f}")
print(f"f1={f1:.4f}")预期输出
accuracy=0.8364
precision=0.8400
recall=0.8077
f1=0.8235实际项目中还应处理分母为零的情况。例如模型从未预测正类时,TP + FP 为零,精确率需要按评估框架约定返回 0 或标记为不可定义。
如何选择指标
类别较均衡,且误报与漏报代价接近时,准确率可以作为整体指标。正类很少时,准确率容易制造错觉:若正类只占 1%,全部预测为负类也能得到 99% 的准确率。
误报代价高时优先关注精确率,例如人工审核资源有限;漏报代价高时优先关注召回率,例如欺诈检测或疾病筛查。两者都重要且需要一个综合数值时,可使用 F1。
多分类任务还要说明平均方式。宏平均先分别计算每个类别再取平均,更重视少数类;微平均先汇总各类别的 TP、FP、FN,更接近样本整体表现。报告指标时应同时写明正类定义、数据集范围和平均方式。
常见误区
不要只在训练集上计算指标,否则结果通常过于乐观。分类阈值也会改变精确率和召回率:提高判为正类的门槛,往往提升精确率并降低召回率,因此应在验证集上结合业务目标选择阈值。
单个 F1 分数也不能反映 TN。如果负类识别同样关键,应同时查看混淆矩阵、每类指标,必要时补充 ROC-AUC 或 PR-AUC。
本课总结
- 四个分类指标都建立在 TP、TN、FP、FN 之上
- 类别不均衡时,准确率不能单独代表模型质量
- 指标选择应由误报与漏报的业务代价决定
下一课预告
下一课将进入语言模型评估,理解困惑度如何由平均交叉熵得到,以及为什么困惑度较低也不一定代表生成质量更好。