机器学习与深度学习 / 系统课时

排查训练与预测问题

排查训练与预测问题

学习目标

  • 按固定顺序定位训练和预测异常
  • 识别字段、预处理、数据漂移和过拟合问题
  • 通过最小复现和固定样本验证修复

先按层次定位

排障顺序建议从输入到输出:确认请求和原始数据;检查列名、类型、单位和缺失;验证预处理器版本;确认模型文件和阈值;最后分析模型本身。这样能快速排除最常见的工程问题。

不要一看到预测异常就重新训练。多数线上故障来自输入契约或流程不一致。

常见现象与根因

“训练正常、接口报列缺失”通常是训练与线上字段命名不一致;“全部预测同一类别”可能是阈值错误、特征全为空、缩放缺失或类别严重不平衡;“离线高分、线上差”可能是泄漏、数据漂移或划分方式错误;“加载失败”常与依赖版本或文件损坏有关。

每种现象都应先收集输入样本、模型版本、特征版本和错误堆栈。

增加输入契约检查

python
import pandas as pd

REQUIRED_COLUMNS = ["age", "income", "city"]

def validate_input(frame: pd.DataFrame) -> None:
    missing = sorted(set(REQUIRED_COLUMNS) - set(frame.columns))
    extra = sorted(set(frame.columns) - set(REQUIRED_COLUMNS))

    if missing:
        raise ValueError(f"缺少字段: {missing}")
    if extra:
        raise ValueError(f"未知字段: {extra}")
    if (frame["age"] < 0).any() or (frame["age"] > 120).any():
        raise ValueError("age 必须在 0 到 120 之间")

sample = pd.DataFrame([{
    "age": 35,
    "income": 8000,
    "city": "A",
}])
validate_input(sample)
print("输入校验通过")

预期输出:

text
输入校验通过

删除 city 列后运行,应明确抛出 缺少字段: ['city'],而不是在模型深处出现难以理解的异常。

最小复现与固定样本

保留一组脱敏固定样本及其期望输出,每次模型、依赖或接口变更后执行回归测试。若离线与线上结果不同,逐步比较原始输入、预处理后向量、预测概率和阈值结果,定位首次出现差异的位置。

对随机算法还要固定种子,但不能把“固定后可复现”误当成模型稳定,应继续检查不同数据窗口的表现。

修复后如何验证

修复不仅要让报错消失,还要验证错误场景、正常场景和边界场景。重新计算离线指标,检查线上固定样本,确认日志和告警生效,并记录根因、影响范围、修复版本和回滚方法。

若问题来自数据漂移,应评估是否重新训练,而不是简单调整阈值掩盖分布变化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查训练与预测问题

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通