机器学习与深度学习 / 系统课时
理解超参数
理解超参数
学习目标
- 区分训练参数与超参数
- 理解超参数如何控制模型能力和训练过程
- 建立合理的搜索范围
参数和超参数的区别
模型参数由训练算法从数据中学习,例如逻辑回归系数、决策树分裂阈值和神经网络权重。超参数由开发者在训练前设置,用来控制模型结构、正则化和优化过程,例如树深度、学习率和正则化强度。
超参数不能直接从一次训练中自动得到,通常需要验证集或交叉验证比较。
常见作用类型
复杂度类超参数控制模型表达能力,如 max_depth、多项式阶数和隐藏层大小。正则化类参数限制过拟合,如逻辑回归 C 和树的 min_samples_leaf。训练过程参数控制学习方式,如学习率、迭代次数和批大小。
同一个参数在不同算法中的方向可能不同。例如逻辑回归中 C 越小正则化越强,不能只根据名称猜测。
建立搜索范围
搜索范围应基于算法机制和基线结果。对跨数量级参数,例如 C、学习率和正则化系数,使用对数尺度更合理,如 0.001、0.01、0.1、1、10。对树深度等离散参数,使用少量有意义候选值。
范围过窄可能错过有效区域,过宽会浪费计算并增加偶然最佳结果。先做粗搜索,再围绕较好区域细化。
参数之间会交互
梯度提升的学习率与树数量、随机森林的叶节点大小与深度、神经网络的学习率与批大小都存在交互。单独逐个调参可能错过组合效果。
但同时搜索过多维度会产生组合爆炸。应先固定影响较小的参数,优先搜索最关键的 2 到 4 个。
记录与复现
每次实验至少记录数据版本、特征版本、代码提交、参数、随机种子、折分方式、评价指标和运行时间。只保存“最佳分数”无法解释改进来自哪里,也难以复现。
超参数是模型交付的一部分,加载模型时还应知道对应预处理配置和训练环境。
按自己的节奏,确认真正理解。