机器学习与深度学习 / 系统课时

模型评估与迭代

模型评估与迭代

训练结束后,先用验证数据决定是否保留模型和决策阈值。评估要记录任务、数据版本、预处理、正类、阈值和计算口径。这里用二分类验证样本说明准确率、精确率和召回率如何对应误报与漏报。

学习目标

  • 根据任务成本选择指标,并和同数据上的简单基线比较。
  • 用同一组验证预测比较阈值,明确指标的分母及未定义情况。
  • 根据有分母的分组误差安排下一轮实验,再冻结方案进行独立验收。

指标对应错误代价

给定明确的正类,预测和真实都为正记为 TP,误报为 FP,漏报为 FN,正确拒绝为 TN。准确率的分母是所有样本,精确率的分母是预测为正的样本,召回率的分母是真实为正的样本。没有预测正例时精确率未定义,没有真实正例时召回率未定义。工具有时按指定策略用 0 或其他值替代,应记录口径和样本数。 scikit-learn 分类指标与零分母说明

对于回归,还可用 MAE 表示原量纲下的平均绝对偏差,或用 RMSE 增加大误差的影响。指标应和任务中真正关心的错误对应,最终应同时检查适用数据与成本。 scikit-learn 回归指标

在验证集比较两种阈值

下面的合成分数已由假定的模型输出。达到阈值即预测为正。示例只比较验证集上的两个候选,实际选择的阈值需与最终模型版本一起冻结。

python
def binary_report(labels, predictions):
    if not labels or len(labels) != len(predictions):
        raise ValueError("expected non-empty aligned inputs")
    if any(value not in (0, 1) for value in [*labels, *predictions]):
        raise ValueError("expected binary labels")
    pairs = list(zip(labels, predictions))
    tp = pairs.count((1, 1))
    fp = pairs.count((0, 1))
    fn = pairs.count((1, 0))
    tn = pairs.count((0, 0))
    return {
        "accuracy": (tp + tn) / len(pairs),
        "precision": tp / (tp + fp) if tp + fp else None,
        "recall": tp / (tp + fn) if tp + fn else None,
        "counts": (tp, fp, fn, tn),
    }


y_val = [1, 1, 1, 1, 0, 0, 0, 0, 0, 0]
scores = [0.90, 0.55, 0.80, 0.40, 0.60, 0.30, 0.20, 0.10, 0.15, 0.05]

for cutoff in (0.70, 0.40):
    pred = [int(score >= cutoff) for score in scores]
    report = binary_report(y_val, pred)
    print(f"cutoff={cutoff:.2f}: {report}")
print("always negative:", binary_report(y_val, [0] * len(y_val)))
text
cutoff=0.70: {'accuracy': 0.8, 'precision': 1.0, 'recall': 0.5, 'counts': (2, 0, 2, 6)}
cutoff=0.40: {'accuracy': 0.9, 'precision': 0.8, 'recall': 1.0, 'counts': (4, 1, 0, 5)}
always negative: {'accuracy': 0.6, 'precision': None, 'recall': 0.0, 'counts': (0, 0, 4, 6)}

较低阈值多找到两个正例,也增加一次误报。若事先要求召回至少 0.85 且精确率至少 0.80,0.40 在这十条验证记录上通过。只有四个正例,一条正例的预测变化就会改变 0.25 的召回率。正式验收需要足够样本以及对部署对象有代表性的独立数据。在训练样本上挑阈值会混用拟合与评估。 scikit-learn 阈值调节与验证边界

用误差分析决定下一步

按场景、时间或数据来源拆分错误。记录每组总数、正例数和误报漏报计数,避免把漏报数量最多的组误认为漏报率最高的组。举例来说,低光组漏报 3/5,正常光组漏报 4/80。后一组错误更多,前一组漏报率更高且分母很小。检查标注、分布与图像预处理后,再验证补样本等具体假设。样本不足的组记录不确定性或继续收集样本。

模型评估驱动的持续迭代闭环

让迭代有可验收的停止条件

每轮记录改动、数据和代码版本、模型与阈值、验证指标及样本数。阈值改动和数据改动分成可比较的实验。用同一验证样本对比时,保留逐样本结果;重要决策还应根据样本结构估计差异的不确定性。必要时把误报、漏报、覆盖率、延迟和成本约束写进验收门槛。选择完成后对固定方案运行独立测试。 scikit-learn 评估指标 scikit-learn 验证与测试职责

本课练习

用阈值 0.95 重算指标,说明精确率为什么没有定义。再将某个小组设为无正例,检查组内召回的分母。用计数、样本量和预先设定的门槛写出是否继续迭代的结论。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

模型评估与迭代

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通