机器学习与深度学习 / 系统课时

理解超参数

理解超参数

学习目标

  • 区分训练参数与超参数
  • 理解超参数如何控制模型能力和训练过程
  • 建立合理的搜索范围

参数和超参数的区别

模型参数由训练算法从数据中学习,例如逻辑回归系数、决策树分裂阈值和神经网络权重。超参数由开发者在训练前设置,用来控制模型结构、正则化和优化过程,例如树深度、学习率和正则化强度。

超参数不能直接从一次训练中自动得到,通常需要验证集或交叉验证比较。

常见作用类型

复杂度类超参数控制模型表达能力,如 max_depth、多项式阶数和隐藏层大小。正则化类参数限制过拟合,如逻辑回归 C 和树的 min_samples_leaf。训练过程参数控制学习方式,如学习率、迭代次数和批大小。

同一个参数在不同算法中的方向可能不同。例如逻辑回归中 C 越小正则化越强,不能只根据名称猜测。

建立搜索范围

搜索范围应基于算法机制和基线结果。对跨数量级参数,例如 C、学习率和正则化系数,使用对数尺度更合理,如 0.001、0.01、0.1、1、10。对树深度等离散参数,使用少量有意义候选值。

范围过窄可能错过有效区域,过宽会浪费计算并增加偶然最佳结果。先做粗搜索,再围绕较好区域细化。

参数之间会交互

梯度提升的学习率与树数量、随机森林的叶节点大小与深度、神经网络的学习率与批大小都存在交互。单独逐个调参可能错过组合效果。

但同时搜索过多维度会产生组合爆炸。应先固定影响较小的参数,优先搜索最关键的 2 到 4 个。

记录与复现

每次实验至少记录数据版本、特征版本、代码提交、参数、随机种子、折分方式、评价指标和运行时间。只保存“最佳分数”无法解释改进来自哪里,也难以复现。

超参数是模型交付的一部分,加载模型时还应知道对应预处理配置和训练环境。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解超参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通