机器学习与深度学习 / 系统课时

使用随机搜索

使用随机搜索

学习目标

  • 理解随机搜索相对网格搜索的优势
  • 从参数分布采样候选组合
  • 根据计算预算设置搜索次数

为什么随机采样

网格搜索会在每个维度使用固定点,当只有少数参数真正重要时,大量组合浪费在不敏感维度。随机搜索从分布中独立采样,更容易在相同预算下覆盖更广范围。

它适合参数较多、连续范围大、单次训练成本高的任务。搜索次数 n_iter 直接对应预算。

运行随机搜索

python
from scipy.stats import randint, loguniform
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import RandomizedSearchCV, train_test_split

X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.2,
    stratify=y,
    random_state=42,
)

model = RandomForestClassifier(
    random_state=42,
    n_jobs=-1,
)
distributions = {
    "n_estimators": randint(100, 501),
    "max_depth": randint(2, 16),
    "min_samples_leaf": randint(1, 11),
    "max_features": loguniform(0.2, 1.0),
}

search = RandomizedSearchCV(
    model,
    distributions,
    n_iter=20,
    cv=5,
    scoring="roc_auc",
    random_state=42,
    n_jobs=-1,
    refit=True,
)
search.fit(X_train, y_train)

print("最佳参数:", search.best_params_)
print(f"最佳交叉验证 AUC: {search.best_score_:.3f}")
print(f"测试集 AUC: {search.score(X_test, y_test):.3f}")

预期结果:

text
输出 20 次随机采样中表现最佳的参数组合和 AUC。
固定 random_state 后,同一环境中的采样序列可复现。

分布如何设置

跨多个数量级的参数适合 loguniform,例如学习率和正则化强度;整数参数使用 randint;少量类别选项可直接传列表。范围应避免产生无效或明显昂贵的组合。

初次搜索可以宽一些,找到有效区域后再缩小范围做第二轮。不要无限增加 n_iter,应根据单次训练时间和总预算计算。

比较与选择

随机搜索不保证遍历最佳组合,但在高维空间中通常比同预算网格更有效。可运行多个随机种子检查结果稳定性。

最终选择仍应考虑分数标准差、训练时间、预测延迟和模型体积。一个平均 AUC 只高 0.001、推理却慢数倍的组合未必值得上线。

搜索结果验收

检查最佳参数是否频繁落在采样范围边界,并查看前几名组合的分数差距。若结果高度依赖随机种子,可增加 n_iter 或缩小有效区域后再次搜索。最终参数需要在独立测试集上评估,不能把最佳交叉验证分数当作上线效果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用随机搜索

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通