机器学习与深度学习 / 系统课时

使用交叉验证

使用交叉验证

学习目标

  • 理解 K 折交叉验证的执行过程
  • 使用统一指标比较模型
  • 根据数据结构选择正确的折分器

K 折如何工作

K 折交叉验证把训练数据分成 K 份。每轮使用其中一份验证、其余 K-1 份训练,重复 K 次后汇总分数。每个样本通常恰好参与一次验证,因此比单次验证划分更充分。

分类任务常使用分层 K 折,保证各折类别比例接近;结果应同时报告均值和标准差。

运行分层交叉验证

python
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)

model = Pipeline([
    ("scale", StandardScaler()),
    ("model", LogisticRegression(max_iter=2000)),
])
cv = StratifiedKFold(
    n_splits=5,
    shuffle=True,
    random_state=42,
)

scores = cross_val_score(
    model,
    X,
    y,
    cv=cv,
    scoring="roc_auc",
)

print("每折 AUC:", scores.round(3).tolist())
print(f"平均 AUC: {scores.mean():.3f}")
print(f"标准差: {scores.std():.3f}")

预期结果:

text
输出 5 个折的 AUC、平均值和标准差。
每折分数应较高且彼此接近,但具体值可能随库版本略有变化。

预处理必须进入流水线

缩放、缺失值填充、特征选择和重采样都必须在每个训练折内部拟合。若先对全量数据做标准化再交叉验证,验证折的信息会参与均值和方差计算,形成泄漏。

使用 Pipeline 可以让每轮自动按正确顺序重新拟合预处理器和模型。

选择正确折分器

同一用户有多条记录时使用 GroupKFold 等分组方法;时间数据使用 TimeSeriesSplit 或滚动窗口;极少数类任务要确保每折至少包含足够正类。普通随机 K 折不适用于所有数据。

K 越大,训练次数越多,计算成本越高。常见 5 折或 10 折通常已能取得稳定估计。

结果如何汇报

不要只报告平均分。标准差较大表示模型对数据划分敏感,应检查少数类数量、分组泄漏或数据异质性。还可保留每折最佳阈值和错误样本,判断性能波动是否集中在特定时间段或业务群体。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用交叉验证

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通