机器学习与深度学习 / 系统课时
排查训练与预测问题
排查训练与预测问题
学习目标
- 按固定顺序定位训练和预测异常
- 识别字段、预处理、数据漂移和过拟合问题
- 通过最小复现和固定样本验证修复
先按层次定位
排障顺序建议从输入到输出:确认请求和原始数据;检查列名、类型、单位和缺失;验证预处理器版本;确认模型文件和阈值;最后分析模型本身。这样能快速排除最常见的工程问题。
不要一看到预测异常就重新训练。多数线上故障来自输入契约或流程不一致。
常见现象与根因
“训练正常、接口报列缺失”通常是训练与线上字段命名不一致;“全部预测同一类别”可能是阈值错误、特征全为空、缩放缺失或类别严重不平衡;“离线高分、线上差”可能是泄漏、数据漂移或划分方式错误;“加载失败”常与依赖版本或文件损坏有关。
每种现象都应先收集输入样本、模型版本、特征版本和错误堆栈。
增加输入契约检查
python
import pandas as pd
REQUIRED_COLUMNS = ["age", "income", "city"]
def validate_input(frame: pd.DataFrame) -> None:
missing = sorted(set(REQUIRED_COLUMNS) - set(frame.columns))
extra = sorted(set(frame.columns) - set(REQUIRED_COLUMNS))
if missing:
raise ValueError(f"缺少字段: {missing}")
if extra:
raise ValueError(f"未知字段: {extra}")
if (frame["age"] < 0).any() or (frame["age"] > 120).any():
raise ValueError("age 必须在 0 到 120 之间")
sample = pd.DataFrame([{
"age": 35,
"income": 8000,
"city": "A",
}])
validate_input(sample)
print("输入校验通过")预期输出:
text
输入校验通过删除 city 列后运行,应明确抛出 缺少字段: ['city'],而不是在模型深处出现难以理解的异常。
最小复现与固定样本
保留一组脱敏固定样本及其期望输出,每次模型、依赖或接口变更后执行回归测试。若离线与线上结果不同,逐步比较原始输入、预处理后向量、预测概率和阈值结果,定位首次出现差异的位置。
对随机算法还要固定种子,但不能把“固定后可复现”误当成模型稳定,应继续检查不同数据窗口的表现。
修复后如何验证
修复不仅要让报错消失,还要验证错误场景、正常场景和边界场景。重新计算离线指标,检查线上固定样本,确认日志和告警生效,并记录根因、影响范围、修复版本和回滚方法。
若问题来自数据漂移,应评估是否重新训练,而不是简单调整阈值掩盖分布变化。
按自己的节奏,确认真正理解。