机器学习与深度学习 / 系统课时

生成模型评估报告

生成模型评估报告

学习目标

  • 组织可审计的模型评估内容
  • 同时报告整体、类别和分组表现
  • 明确模型限制与上线建议

报告需要回答的问题

评估报告应让读者知道模型解决什么问题、使用什么数据、如何划分、与什么基线比较、在哪些场景表现好或差、是否满足上线标准。它不是把所有图表堆在一起,而是围绕决策给出证据。

报告首页应直接给出结论:推荐上线、需要补充验证或暂不推荐,并说明主要依据。

核心内容结构

建议包括:任务与预测时点;数据范围和样本分布;特征与泄漏检查;训练和验证方法;基线与候选模型;主指标及置信范围;混淆矩阵和阈值;关键子群表现;错误样本分析;特征影响;性能成本;限制、风险和监控计划。所有指标都要注明数据集、正类定义和阈值。

生成基础指标表

python
import pandas as pd
from sklearn.metrics import (
    accuracy_score,
    f1_score,
    precision_score,
    recall_score,
    roc_auc_score,
)

y_true = [0, 0, 0, 1, 1, 1, 1, 0]
y_score = [0.05, 0.20, 0.62, 0.55, 0.80, 0.91, 0.40, 0.10]
threshold = 0.5
y_pred = [int(score >= threshold) for score in y_score]

report = pd.DataFrame([{
    "threshold": threshold,
    "accuracy": accuracy_score(y_true, y_pred),
    "precision": precision_score(y_true, y_pred),
    "recall": recall_score(y_true, y_pred),
    "f1": f1_score(y_true, y_pred),
    "roc_auc": roc_auc_score(y_true, y_score),
}])

print(report.round(3).to_string(index=False))

预期输出:

text
 threshold  accuracy  precision  recall    f1  roc_auc
       0.5     0.750      0.750    0.750 0.750    0.875

错误和限制必须可见

报告应展示代表性误报和漏报,并说明初步根因。还要明确未覆盖人群、标签延迟、样本偏差、概率未校准、对未来分布变化的敏感性等限制。

隐藏不利结果会让上线决策失真。成熟报告的价值不只在证明模型有效,也在说明它何时不可靠。

上线建议与监控

建议应包含模型阈值、调用方式、回退规则、监控指标、告警阈值和复评周期。例如监控输入缺失率、预测分布、实际召回率和延迟;标签到达后按周回算效果。报告中的每个上线条件都应能被系统监控或人工核验。

报告质量检查

发布报告前由未参与训练的人复核:是否能根据文档重现数据划分和指标;图表标题、正类和阈值是否明确;结论是否被数据支持;是否遗漏不利子群;模型版本是否与附件一致。报告中的概率、比例和样本数量应能相互核对。

对于动态值,报告应标注数据截止日期和生成时间,避免旧指标被当作当前表现。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

生成模型评估报告

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通