机器学习与深度学习 / 系统课时

开展超参数搜索

开展超参数搜索

超参数搜索要解决的不是“把所有组合都试一遍”,而是在固定预算内比较真正影响结果的参数。本节用 KerasTuner 同时搜索隐藏层宽度、学习率、批大小和 L2 强度,并用独立验证集选出可复现的候选配置。

学习目标

  • 为网络宽度、学习率、批大小和 L2 正则设置可执行的搜索空间。
  • 使用 RandomSearch 在固定试验次数内运行搜索,并读取最佳超参数。
  • 用统一数据划分和早停规则比较候选,避免把测试集或偶然波动当成搜索结果。

先限定搜索空间

搜索空间越大,单次试验越难提供有效信息。先给每个参数设置业务上合理的范围,再决定预算。下面这组范围适合 MNIST 级别的全连接分类基线,若模型或数据规模明显不同,应重新设定边界。

参数 搜索范围 选择理由
units 64、128、256 控制隐藏层容量,三档足以看出欠拟合与过拟合趋势
learning_rate 10−410^{-4} 到 3×10−33\times10^{-3},对数采样 学习率跨数量级变化,用对数采样比线性采样更合适
batch_size 64、128、256 比较吞吐、梯度噪声与显存占用
l2 0、10−410^{-4}、10−310^{-3} 从无正则到中等强度正则

先把预算定为 8 个 trial、每个最多 8 个 epoch,并使用 EarlyStopping(patience=2)。这不是“找到全局最优”的保证,而是一轮成本可控的粗搜索;粗搜索后再围绕最佳区域缩小范围继续试。

用 KerasTuner 执行随机搜索

KerasTuner 的 HyperModel.build() 适合定义网络与优化器参数,HyperModel.fit() 可以把 batch_size 这类训练参数也纳入搜索。整个流程是“采样参数 → 构建模型 → 训练 → 计算验证指标 → 记录 trial → 继续采样”。

超参数搜索从参数空间到验证指标和最佳配置的迭代流程

如果环境还没有 KerasTuner,可先安装并验证导入:

bash
python -m pip install -q keras-tuner
python -c "import keras_tuner as kt; print(kt.__name__)"

预期输出的关键验证行:

text
keras_tuner

下面的脚本使用 MNIST 前 15000 个训练样本,其中 12000 个用于训练、3000 个固定为验证集。搜索时不读取测试集,避免测试集参与模型选择。

python
import keras_tuner as kt
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers

keras.utils.set_random_seed(42)
(x_all, y_all), _ = keras.datasets.mnist.load_data()
x_all = x_all[:15000].reshape(-1, 784).astype("float32") / 255.0
y_all = y_all[:15000]
x_train, x_val = x_all[:12000], x_all[12000:]
y_train, y_val = y_all[:12000], y_all[12000:]

class MnistHyperModel(kt.HyperModel):
    def build(self, hp):
        units = hp.Choice("units", [64, 128, 256])
        l2_strength = hp.Choice("l2", [0.0, 1e-4, 1e-3])
        lr = hp.Float("learning_rate", 1e-4, 3e-3, sampling="log")
        model = keras.Sequential([
            keras.Input(shape=(784,)),
            layers.Dense(
                units,
                activation="relu",
                kernel_regularizer=keras.regularizers.l2(l2_strength),
            ),
            layers.Dense(10, activation="softmax"),
        ])
        model.compile(
            optimizer=keras.optimizers.Adam(learning_rate=lr),
            loss="sparse_categorical_crossentropy",
            metrics=["accuracy"],
        )
        return model

    def fit(self, hp, model, *args, **kwargs):
        batch_size = hp.Choice("batch_size", [64, 128, 256])
        return model.fit(*args, batch_size=batch_size, **kwargs)

tuner = kt.RandomSearch(
    hypermodel=MnistHyperModel(),
    objective="val_accuracy",
    max_trials=8,
    seed=42,
    overwrite=True,
    directory="kt_runs",
    project_name="mnist_search",
)
tuner.search(
    x_train,
    y_train,
    validation_data=(x_val, y_val),
    epochs=8,
    callbacks=[keras.callbacks.EarlyStopping(
        monitor="val_loss",
        patience=2,
        restore_best_weights=True,
    )],
    verbose=0,
)
best = tuner.get_best_hyperparameters(1)[0]
for name in ["units", "learning_rate", "batch_size", "l2"]:
    print(f"{name}={best.get(name)}")

预期输出结构如下;具体值由实际训练结果决定,但都应落在前面定义的搜索空间内:

text
units=<VALUE>
learning_rate=<VALUE>
batch_size=<VALUE>
l2=<VALUE>

判断“最佳”是否可信

不要只看一次搜索产生的最高 val_accuracy。先取排名前 3 的配置,用相同训练/验证划分分别重新训练 3 次,例如随机种子使用 41、42、43,再比较平均验证指标和波动。若第一名平均准确率为 98.1%,三次标准差 0.7 个百分点,而第二名为 98.0%、标准差 0.2 个百分点,后者通常更值得进入后续正式训练。

搜索日志还要保留 trial 编号、参数值、最佳 epoch 和验证指标。directory="kt_runs" 与 project_name="mnist_search" 会保存搜索状态;需要从头重跑时才使用 overwrite=True,续跑实验时应保留原目录并改为 False。

缩小范围再做第二轮

第一轮搜索的价值是定位“好区域”。例如前 3 名的 units 都是 128 或 256,学习率集中在 4×10−44\times10^{-4} 到 9×10−49\times10^{-4},而 l2=10^{-3}$ 明显落后,就可以把第二轮范围缩成 units={128,256}、学习率 $3\times10^{-4}$ 到 $10^{-3}$、l2={0,10^{-4}}`,再增加 trial 数。

批大小不要只凭验证准确率决定。若 batch_size=64 比 128 只高 0.05 个百分点,却让单轮训练时间增加 70%,实际项目中通常会保留 128。最终要同时记录验证指标、训练耗时和资源占用,避免搜索出一个离线分数略高但训练成本无法接受的配置。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

开展超参数搜索

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通