机器学习与深度学习 / 系统课时

使用准确率与 F1 值

使用准确率与 F1 值

准确率适合类别分布较均衡、不同错误代价接近的任务;F1 更适合同时关注误报和漏报的场景。本篇用同一组 TP、FP、FN、TN 计算四个指标,并展示如何在 TensorFlow 中按固定阈值验证结果。

学习目标

  • 能根据类别分布判断准确率是否具有代表性
  • 能计算准确率、精确率、召回率和 F1,并理解各自关注的错误
  • 能用 TensorFlow 在固定阈值下得到可复现的二分类指标

先看类别分布

假设 1000 个样本里只有 50 个正类、950 个负类。如果模型把全部样本都预测为负类,准确率仍有 950/1000=95%950/1000=95\%,但正类一个也没有识别出来,召回率为 0。类别越不均衡,单看准确率越容易得到错误结论。

因此评估二分类任务时,先统计正负样本数量,再决定主指标。信用卡欺诈、疾病筛查或故障检测通常更关心少数正类;这时至少同时报告精确率与召回率,不能只给一个整体准确率。

四个指标怎么算

假设测试集共有 1000 个样本,其中 TP=36、FP=12、FN=14、TN=938。准确率统计全部判断是否正确;精确率回答“预测为正的样本里有多少是真的”;召回率回答“真实正类里有多少被找到了”。

指标 公式 本例结果
Accuracy (TP+TN)/(TP+TN+FP+FN)(TP+TN)/(TP+TN+FP+FN) 0.974
Precision TP/(TP+FP)TP/(TP+FP) 0.750
Recall TP/(TP+FN)TP/(TP+FN) 0.720
F1 2PR/(P+R)2PR/(P+R) 0.735

F1 是精确率与召回率的调和平均。只要其中一个很低,F1 就会被明显拉低。因此它适合需要同时约束误报和漏报的任务,但它不考虑 TN;如果大量负类判断是否正确也很重要,还应同时保留准确率或其他指标。

用 TensorFlow 计算

下面使用同一组概率输出,在阈值 0.5 下计算 BinaryAccuracy、Precision 和 Recall,再由后两者计算 F1。示例适用于 TensorFlow 2.x 的 tf.keras.metrics 接口。

python
import tensorflow as tf

y_true = tf.constant([1, 1, 1, 1, 0, 0, 0, 0, 0, 0], dtype=tf.float32)
y_prob = tf.constant([0.9, 0.8, 0.4, 0.7, 0.6, 0.35, 0.2, 0.1, 0.9, 0.4])

accuracy = tf.keras.metrics.BinaryAccuracy(threshold=0.5)
precision = tf.keras.metrics.Precision(thresholds=0.5)
recall = tf.keras.metrics.Recall(thresholds=0.5)

for metric in (accuracy, precision, recall):
    metric.update_state(y_true, y_prob)

p = precision.result()
r = recall.result()
f1 = tf.where(p + r > 0, 2 * p * r / (p + r), 0.0)

print(f"accuracy={accuracy.result().numpy():.3f}")
print(f"precision={p.numpy():.3f}")
print(f"recall={r.numpy():.3f}")
print(f"f1={f1.numpy():.3f}")

预期输出

text
accuracy=0.700
precision=0.600
recall=0.750
f1=0.667

这组数据在阈值 0.5 下得到 TP=3、FP=2、FN=1、TN=4,所以四个输出可以直接与手算结果交叉验证。训练过程中如果使用批量指标对象,跨 epoch 前应由 Keras 训练流程或手动调用 reset_state() 清空累计状态。

根据错误代价选择主指标

指标选择要和“哪种错误更贵”绑定。普通图片分类且类别接近均衡时,可以把准确率作为主指标;垃圾邮件过滤若误杀正常邮件代价高,应重点看精确率;疾病筛查若漏检代价高,应重点看召回率。

场景 更应关注
类别较均衡,FP 与 FN 代价接近 Accuracy
误报代价高 Precision
漏报代价高 Recall
Precision 与 Recall 都重要 F1

多分类任务还要明确平均方式。类别极不均衡时,macro F1 会先分别计算每个类别的 F1 再平均,让小类别拥有同等权重;按样本量加权的 weighted F1 则更受大类别影响。报告结果时应写清平均方式,避免不同实验之间不可比。

先固定阈值再比较指标

同一个概率模型在不同阈值下会得到不同的精确率和召回率。仍用上面的 10 个样本,阈值从 0.5 降到 0.3 后,四个正类都会被检出,召回率从 0.75 升到 1.00,但假阳性也从 2 个增加到 4 个,精确率降到 0.50。

因此模型对比时必须使用同一测试集和同一阈值策略。若业务有“召回率至少 0.95”之类的硬约束,应先在验证集上选择满足约束的阈值,再锁定该阈值去测试集做一次最终评估,而不是根据测试集结果反复调阈值。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用准确率与 F1 值

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通