机器学习与深度学习 / 系统课时
使用随机搜索
使用随机搜索
学习目标
- 理解随机搜索相对网格搜索的优势
- 从参数分布采样候选组合
- 根据计算预算设置搜索次数
为什么随机采样
网格搜索会在每个维度使用固定点,当只有少数参数真正重要时,大量组合浪费在不敏感维度。随机搜索从分布中独立采样,更容易在相同预算下覆盖更广范围。
它适合参数较多、连续范围大、单次训练成本高的任务。搜索次数 n_iter 直接对应预算。
运行随机搜索
python
from scipy.stats import randint, loguniform
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import RandomizedSearchCV, train_test_split
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
X, y,
test_size=0.2,
stratify=y,
random_state=42,
)
model = RandomForestClassifier(
random_state=42,
n_jobs=-1,
)
distributions = {
"n_estimators": randint(100, 501),
"max_depth": randint(2, 16),
"min_samples_leaf": randint(1, 11),
"max_features": loguniform(0.2, 1.0),
}
search = RandomizedSearchCV(
model,
distributions,
n_iter=20,
cv=5,
scoring="roc_auc",
random_state=42,
n_jobs=-1,
refit=True,
)
search.fit(X_train, y_train)
print("最佳参数:", search.best_params_)
print(f"最佳交叉验证 AUC: {search.best_score_:.3f}")
print(f"测试集 AUC: {search.score(X_test, y_test):.3f}")预期结果:
text
输出 20 次随机采样中表现最佳的参数组合和 AUC。
固定 random_state 后,同一环境中的采样序列可复现。分布如何设置
跨多个数量级的参数适合 loguniform,例如学习率和正则化强度;整数参数使用 randint;少量类别选项可直接传列表。范围应避免产生无效或明显昂贵的组合。
初次搜索可以宽一些,找到有效区域后再缩小范围做第二轮。不要无限增加 n_iter,应根据单次训练时间和总预算计算。
比较与选择
随机搜索不保证遍历最佳组合,但在高维空间中通常比同预算网格更有效。可运行多个随机种子检查结果稳定性。
最终选择仍应考虑分数标准差、训练时间、预测延迟和模型体积。一个平均 AUC 只高 0.001、推理却慢数倍的组合未必值得上线。
搜索结果验收
检查最佳参数是否频繁落在采样范围边界,并查看前几名组合的分数差距。若结果高度依赖随机种子,可增加 n_iter 或缩小有效区域后再次搜索。最终参数需要在独立测试集上评估,不能把最佳交叉验证分数当作上线效果。
按自己的节奏,确认真正理解。