机器学习与深度学习 / 系统课时
计算分类与回归指标
计算分类与回归指标
单看验证损失难以判断模型是否满足业务目标。本课用 PyTorch 从预测结果中计算分类任务的准确率、精确率、召回率和 F1 值,以及回归任务的 MAE、MSE 和 RMSE,并说明这些指标各自回答什么问题。
学习目标
- 根据混淆矩阵理解四个常用分类指标
- 使用张量运算计算分类与回归指标
- 按任务风险和数据分布选择评价标准
完整计算分类与回归指标
二分类结果可归纳为真正例 TP、真负例 TN、假正例 FP 和假负例 FN。准确率衡量整体判断正确的比例,精确率关注“预测为正的样本有多少是真的”,召回率关注“真实正样本有多少被找出”。
F1 值是精确率与召回率的调和平均:
下面的完整示例同时计算一个二分类结果和一组回归预测。函数中的 epsilon 用于避免分母为零。
python
import torch
def binary_classification_metrics(
targets: torch.Tensor,
predictions: torch.Tensor,
) -> dict[str, float]:
targets = targets.to(torch.int64)
predictions = predictions.to(torch.int64)
tp = ((predictions == 1) & (targets == 1)).sum().item()
tn = ((predictions == 0) & (targets == 0)).sum().item()
fp = ((predictions == 1) & (targets == 0)).sum().item()
fn = ((predictions == 0) & (targets == 1)).sum().item()
epsilon = 1e-12
total = tp + tn + fp + fn
accuracy = (tp + tn) / total
precision = tp / (tp + fp + epsilon)
recall = tp / (tp + fn + epsilon)
f1 = 2 * precision * recall / (precision + recall + epsilon)
return {
"accuracy": accuracy,
"precision": precision,
"recall": recall,
"f1": f1,
}
def regression_metrics(
targets: torch.Tensor,
predictions: torch.Tensor,
) -> dict[str, float]:
errors = predictions - targets
# MAE 保留原单位,MSE 会放大较大的误差
mae = errors.abs().mean().item()
mse = errors.square().mean().item()
rmse = torch.sqrt(errors.square().mean()).item()
return {
"mae": mae,
"mse": mse,
"rmse": rmse,
}
def main() -> None:
class_targets = torch.tensor([1, 1, 1, 0, 0, 0])
class_predictions = torch.tensor([1, 1, 0, 1, 0, 0])
regression_targets = torch.tensor([3.0, 5.0, 2.0, 7.0])
regression_predictions = torch.tensor([2.5, 5.5, 2.0, 8.0])
class_result = binary_classification_metrics(
class_targets,
class_predictions,
)
regression_result = regression_metrics(
regression_targets,
regression_predictions,
)
for name, value in class_result.items():
print(f"{name}={value:.4f}")
for name, value in regression_result.items():
print(f"{name}={value:.4f}")
if __name__ == "__main__":
main()预期输出:
text
accuracy=0.6667
precision=0.6667
recall=0.6667
f1=0.6667
mae=0.5000
mse=0.3750
rmse=0.6124示例中 TP=2、TN=2、FP=1、FN=1,因此四个分类指标恰好相同。真实项目中它们通常不同,不能只观察其中一个。
回归指标与选择原则
| 指标 | 计算含义 | 适合回答的问题 |
|---|---|---|
| MAE | 绝对误差的平均值 | 平均偏差有多大 |
| MSE | 平方误差的平均值 | 是否需要强烈惩罚大误差 |
| RMSE | MSE 的平方根 | 以原目标单位表达典型误差 |
MAE 对异常值相对稳健;MSE 和 RMSE 会放大大误差,因此当少数严重偏差代价很高时更有价值。跨数据集比较时,还要确认目标量纲和取值范围一致。
类别大致均衡、错误代价接近时,可以先看准确率。误报成本高时优先看精确率,例如把正常交易误判为欺诈;漏报成本高时优先看召回率,例如疾病筛查。需要同时约束误报与漏报时,可使用 F1。
指标边界与汇总方式
当模型输出 logits 时,二分类通常先通过阈值转换为 0 或 1,多分类则常用 argmax。阈值变化会同时影响精确率和召回率,因此报告指标时应记录阈值。
指标应覆盖整个验证集,而不是只计算最后一个批次。多分类任务还需选择宏平均、微平均或加权平均:宏平均平等看待每类,微平均汇总全部样本,加权平均按各类样本数加权。类别极不均衡时,应同时查看每类样本数或混淆矩阵,避免平均值掩盖少数类表现。
按自己的节奏,确认真正理解。