机器学习与深度学习 / 系统课时

分析错误样本

分析错误样本

学习目标

  • 建立可重复的错误样本分析流程
  • 区分数据、特征、阈值和模型问题
  • 把观察结果转成下一轮改进任务

先建立错误清单

错误分析不是随机挑几个预测失败的样本查看,而是把测试集中的误报和漏报系统化整理。清单至少应包含样本标识、真实标签、预测标签、预测概率、关键特征和数据时间。按错误类型、概率区间或业务分组统计后,再抽取代表样本人工检查。

优先查看“高置信度却预测错误”的样本,因为它们更可能暴露标签错误、数据漂移或特征含义变化。接近阈值的错误则更多反映决策边界和阈值取舍。

生成错误样本表

python
import pandas as pd

result = pd.DataFrame({
    "sample_id": ["A01", "A02", "A03", "A04", "A05"],
    "amount": [120, 980, 75, 430, 1500],
    "y_true": [0, 1, 1, 0, 1],
    "score": [0.12, 0.42, 0.91, 0.78, 0.31],
})

threshold = 0.5
result["y_pred"] = (result["score"] >= threshold).astype(int)
errors = result[result["y_true"] != result["y_pred"]].copy()
errors["error_type"] = errors.apply(
    lambda row: "漏报" if row["y_true"] == 1 else "误报",
    axis=1,
)

print(errors[["sample_id", "amount", "y_true", "score", "y_pred", "error_type"]])

预期输出:

text
  sample_id  amount  y_true  score  y_pred error_type
1       A02     980       1   0.42       0         漏报
3       A04     430       0   0.78       1         误报
4       A05    1500       1   0.31       0         漏报

这张表可继续连接原始记录、日志或人工标注信息,形成可追踪的分析证据。

定位根因的顺序

第一层检查标签:是否标错、定义是否前后不一致、标签是否晚于特征时间产生。第二层检查数据:字段是否缺失、单位是否变化、训练与测试分布是否不同。第三层检查特征:模型是否缺少区分这些样本所需的信息。最后才检查模型容量、超参数和阈值。

这个顺序能避免用更复杂模型掩盖数据问题。若同一业务子群持续出现错误,应单独统计该子群指标,并判断是否需要新增特征、重新标注或建立专门模型。

形成改进闭环

每条发现都应转成可验证任务,例如“补充近 7 天交易次数特征,观察高金额漏报是否减少”,而不是停留在“模型不够好”。改动后使用固定验证集或交叉验证重新评估,并确认总体指标改善没有以其他关键子群退化为代价。

错误分析还应保留版本信息,包括数据版本、模型版本、阈值和分析日期。否则后续无法判断同一个样本为什么在不同版本中得到不同结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分析错误样本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通