机器学习与深度学习 / 系统课时
使用交叉验证
使用交叉验证
学习目标
- 理解 K 折交叉验证的执行过程
- 使用统一指标比较模型
- 根据数据结构选择正确的折分器
K 折如何工作
K 折交叉验证把训练数据分成 K 份。每轮使用其中一份验证、其余 K-1 份训练,重复 K 次后汇总分数。每个样本通常恰好参与一次验证,因此比单次验证划分更充分。
分类任务常使用分层 K 折,保证各折类别比例接近;结果应同时报告均值和标准差。
运行分层交叉验证
python
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
X, y = load_breast_cancer(return_X_y=True)
model = Pipeline([
("scale", StandardScaler()),
("model", LogisticRegression(max_iter=2000)),
])
cv = StratifiedKFold(
n_splits=5,
shuffle=True,
random_state=42,
)
scores = cross_val_score(
model,
X,
y,
cv=cv,
scoring="roc_auc",
)
print("每折 AUC:", scores.round(3).tolist())
print(f"平均 AUC: {scores.mean():.3f}")
print(f"标准差: {scores.std():.3f}")预期结果:
text
输出 5 个折的 AUC、平均值和标准差。
每折分数应较高且彼此接近,但具体值可能随库版本略有变化。预处理必须进入流水线
缩放、缺失值填充、特征选择和重采样都必须在每个训练折内部拟合。若先对全量数据做标准化再交叉验证,验证折的信息会参与均值和方差计算,形成泄漏。
使用 Pipeline 可以让每轮自动按正确顺序重新拟合预处理器和模型。
选择正确折分器
同一用户有多条记录时使用 GroupKFold 等分组方法;时间数据使用 TimeSeriesSplit 或滚动窗口;极少数类任务要确保每折至少包含足够正类。普通随机 K 折不适用于所有数据。
K 越大,训练次数越多,计算成本越高。常见 5 折或 10 折通常已能取得稳定估计。
结果如何汇报
不要只报告平均分。标准差较大表示模型对数据划分敏感,应检查少数类数量、分组泄漏或数据异质性。还可保留每折最佳阈值和错误样本,判断性能波动是否集中在特定时间段或业务群体。
按自己的节奏,确认真正理解。