机器学习与深度学习 / 系统课时

计算分类与回归指标

计算分类与回归指标

单看验证损失难以判断模型是否满足业务目标。本课用 PyTorch 从预测结果中计算分类任务的准确率、精确率、召回率和 F1 值,以及回归任务的 MAE、MSE 和 RMSE,并说明这些指标各自回答什么问题。

学习目标

  • 根据混淆矩阵理解四个常用分类指标
  • 使用张量运算计算分类与回归指标
  • 按任务风险和数据分布选择评价标准

完整计算分类与回归指标

二分类结果可归纳为真正例 TP、真负例 TN、假正例 FP 和假负例 FN。准确率衡量整体判断正确的比例,精确率关注“预测为正的样本有多少是真的”,召回率关注“真实正样本有多少被找出”。

Accuracy=TP+TNTP+TN+FP+FNAccuracy = \frac{TP + TN}{TP + TN + FP + FN}
Precision=TPTP+FP,Recall=TPTP+FNPrecision = \frac{TP}{TP + FP}, \quad Recall = \frac{TP}{TP + FN}

F1 值是精确率与召回率的调和平均:

F1=2×Precision×RecallPrecision+RecallF1 = \frac{2 \times Precision \times Recall}{Precision + Recall}

下面的完整示例同时计算一个二分类结果和一组回归预测。函数中的 epsilon 用于避免分母为零。

python
import torch

def binary_classification_metrics(
    targets: torch.Tensor,
    predictions: torch.Tensor,
) -> dict[str, float]:
    targets = targets.to(torch.int64)
    predictions = predictions.to(torch.int64)

    tp = ((predictions == 1) & (targets == 1)).sum().item()
    tn = ((predictions == 0) & (targets == 0)).sum().item()
    fp = ((predictions == 1) & (targets == 0)).sum().item()
    fn = ((predictions == 0) & (targets == 1)).sum().item()

    epsilon = 1e-12
    total = tp + tn + fp + fn
    accuracy = (tp + tn) / total
    precision = tp / (tp + fp + epsilon)
    recall = tp / (tp + fn + epsilon)
    f1 = 2 * precision * recall / (precision + recall + epsilon)

    return {
        "accuracy": accuracy,
        "precision": precision,
        "recall": recall,
        "f1": f1,
    }

def regression_metrics(
    targets: torch.Tensor,
    predictions: torch.Tensor,
) -> dict[str, float]:
    errors = predictions - targets

    # MAE 保留原单位,MSE 会放大较大的误差
    mae = errors.abs().mean().item()
    mse = errors.square().mean().item()
    rmse = torch.sqrt(errors.square().mean()).item()

    return {
        "mae": mae,
        "mse": mse,
        "rmse": rmse,
    }

def main() -> None:
    class_targets = torch.tensor([1, 1, 1, 0, 0, 0])
    class_predictions = torch.tensor([1, 1, 0, 1, 0, 0])

    regression_targets = torch.tensor([3.0, 5.0, 2.0, 7.0])
    regression_predictions = torch.tensor([2.5, 5.5, 2.0, 8.0])

    class_result = binary_classification_metrics(
        class_targets,
        class_predictions,
    )
    regression_result = regression_metrics(
        regression_targets,
        regression_predictions,
    )

    for name, value in class_result.items():
        print(f"{name}={value:.4f}")

    for name, value in regression_result.items():
        print(f"{name}={value:.4f}")

if __name__ == "__main__":
    main()

预期输出:

text
accuracy=0.6667
precision=0.6667
recall=0.6667
f1=0.6667
mae=0.5000
mse=0.3750
rmse=0.6124

示例中 TP=2、TN=2、FP=1、FN=1,因此四个分类指标恰好相同。真实项目中它们通常不同,不能只观察其中一个。

回归指标与选择原则

指标 计算含义 适合回答的问题
MAE 绝对误差的平均值 平均偏差有多大
MSE 平方误差的平均值 是否需要强烈惩罚大误差
RMSE MSE 的平方根 以原目标单位表达典型误差

MAE 对异常值相对稳健;MSE 和 RMSE 会放大大误差,因此当少数严重偏差代价很高时更有价值。跨数据集比较时,还要确认目标量纲和取值范围一致。

类别大致均衡、错误代价接近时,可以先看准确率。误报成本高时优先看精确率,例如把正常交易误判为欺诈;漏报成本高时优先看召回率,例如疾病筛查。需要同时约束误报与漏报时,可使用 F1。

指标边界与汇总方式

当模型输出 logits 时,二分类通常先通过阈值转换为 0 或 1,多分类则常用 argmax。阈值变化会同时影响精确率和召回率,因此报告指标时应记录阈值。

指标应覆盖整个验证集,而不是只计算最后一个批次。多分类任务还需选择宏平均、微平均或加权平均:宏平均平等看待每类,微平均汇总全部样本,加权平均按各类样本数加权。类别极不均衡时,应同时查看每类样本数或混淆矩阵,避免平均值掩盖少数类表现。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

计算分类与回归指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通