机器学习与深度学习 / 系统课时
分析错误样本
分析错误样本
学习目标
- 建立可重复的错误样本分析流程
- 区分数据、特征、阈值和模型问题
- 把观察结果转成下一轮改进任务
先建立错误清单
错误分析不是随机挑几个预测失败的样本查看,而是把测试集中的误报和漏报系统化整理。清单至少应包含样本标识、真实标签、预测标签、预测概率、关键特征和数据时间。按错误类型、概率区间或业务分组统计后,再抽取代表样本人工检查。
优先查看“高置信度却预测错误”的样本,因为它们更可能暴露标签错误、数据漂移或特征含义变化。接近阈值的错误则更多反映决策边界和阈值取舍。
生成错误样本表
python
import pandas as pd
result = pd.DataFrame({
"sample_id": ["A01", "A02", "A03", "A04", "A05"],
"amount": [120, 980, 75, 430, 1500],
"y_true": [0, 1, 1, 0, 1],
"score": [0.12, 0.42, 0.91, 0.78, 0.31],
})
threshold = 0.5
result["y_pred"] = (result["score"] >= threshold).astype(int)
errors = result[result["y_true"] != result["y_pred"]].copy()
errors["error_type"] = errors.apply(
lambda row: "漏报" if row["y_true"] == 1 else "误报",
axis=1,
)
print(errors[["sample_id", "amount", "y_true", "score", "y_pred", "error_type"]])预期输出:
text
sample_id amount y_true score y_pred error_type
1 A02 980 1 0.42 0 漏报
3 A04 430 0 0.78 1 误报
4 A05 1500 1 0.31 0 漏报这张表可继续连接原始记录、日志或人工标注信息,形成可追踪的分析证据。
定位根因的顺序
第一层检查标签:是否标错、定义是否前后不一致、标签是否晚于特征时间产生。第二层检查数据:字段是否缺失、单位是否变化、训练与测试分布是否不同。第三层检查特征:模型是否缺少区分这些样本所需的信息。最后才检查模型容量、超参数和阈值。
这个顺序能避免用更复杂模型掩盖数据问题。若同一业务子群持续出现错误,应单独统计该子群指标,并判断是否需要新增特征、重新标注或建立专门模型。
形成改进闭环
每条发现都应转成可验证任务,例如“补充近 7 天交易次数特征,观察高金额漏报是否减少”,而不是停留在“模型不够好”。改动后使用固定验证集或交叉验证重新评估,并确认总体指标改善没有以其他关键子群退化为代价。
错误分析还应保留版本信息,包括数据版本、模型版本、阈值和分析日期。否则后续无法判断同一个样本为什么在不同版本中得到不同结果。
按自己的节奏,确认真正理解。