AI 与工程数学 / 系统课时

区分可训练参数和超参数

区分可训练参数和超参数

训练 AI 模型时,权重和偏置由优化算法根据数据更新,学习率和批量大小则由开发者预先设置。如果混淆这两类变量,就容易写错梯度计算、参数更新和实验配置。本文通过一个可运行的线性回归实验,明确它们各自的职责。

学习目标

  • 区分可训练参数、超参数和训练数据,判断哪些变量需要求梯度。
  • 理解权重、偏置、学习率和批量大小如何共同影响训练。
  • 使用 Python 观察参数更新,并验证超参数不会被梯度下降直接修改。

哪些变量由模型学习

考虑一个预测房价的简化线性模型:

haty=wx+b\\hat{y}=wx+b

其中,xx 是输入特征,haty\\hat{y} 是预测值,ww 是权重,bb 是偏置。训练的目标是让预测值尽可能接近真实标签 yy。

假设输入 x=2x=2,初始权重 w=1w=1,偏置 b=0b=0,模型预测为 2。如果真实标签是 5,就需要通过训练调整 ww 和 bb。

常见变量的职责如下:

变量 示例 类型 是否通过梯度下降更新
权重 ww 1.0 可训练参数 是
偏置 bb 0.0 可训练参数 是
学习率 eta\\eta 0.1 超参数 通常否
批量大小 32 超参数 否
输入 xx 2.0 训练数据 否
标签 yy 5.0 训练数据 否

这里的分类针对常规监督学习。某些高级方法也会优化超参数,但那属于额外的优化过程,不能与普通训练中的权重更新混为一谈。

学习率和批量大小怎样发挥作用

学习率控制每次沿负梯度方向移动的幅度。对均方误差损失 LL,最简单的参数更新规则为:

w_new=w−etafracpartialLpartialww\_{new}=w-\\eta\\frac{\\partial L}{\\partial w}
b_new=b−etafracpartialLpartialbb\_{new}=b-\\eta\\frac{\\partial L}{\\partial b}

假设当前权重梯度为 -6,学习率为 0.1,则新权重为 1−0.1times(−6)=1.61-0.1\\times(-6)=1.6。如果把学习率改为 0.01,同一步只会更新到 1.06。

学习率过大可能使损失反复震荡甚至发散;过小则可能需要更多更新步骤。初学者可以从 0.01 或 0.1 开始测试,但没有适用于所有模型的固定最优值。

批量大小决定每次计算梯度使用多少条样本。假设训练集有 100 条样本:

批量大小 每轮参数更新次数 特点
1 100 梯度噪声较大
20 5 计算量与梯度波动折中
100 1 使用整批样本计算梯度

这里的一轮指完整遍历 100 条样本,且不丢弃最后一个批次。批量大小改变的是每次梯度的计算范围和每轮更新次数,而不是直接参与求导的模型参数。

使用 Python 验证参数更新

下面使用 NumPy 实现两条样本的线性回归,损失函数取平均平方误差。将代码保存为 `train.py`,环境要求 Python 3.10 或更新版本,并安装 NumPy。

bash
python -m pip install numpy

安装完成后运行以下完整程序:

python
import numpy as np

# 两条训练样本,目标关系为 y = 2x + 1
x = np.array([1.0, 2.0])
y = np.array([3.0, 5.0])

# 可训练参数:通过梯度下降更新
w = 1.0
b = 0.0

# 超参数:由实验配置决定,不参与本次求导
learning_rate = 0.1
batch_size = 2

for epoch in range(3):
    batch_x = x[:batch_size]
    batch_y = y[:batch_size]
    prediction = w * batch_x + b
    error = prediction - batch_y
    loss = np.mean(error ** 2)

    # 均方误差对权重与偏置的解析梯度
    grad_w = 2 * np.mean(error * batch_x)
    grad_b = 2 * np.mean(error)
    w -= learning_rate * grad_w
    b -= learning_rate * grad_b
    print(f'epoch={epoch + 1} loss={loss:.4f} w={w:.4f} b={b:.4f}')

print(f'learning_rate={learning_rate} batch_size={batch_size}')

预期输出:

text
epoch=1 loss=8.0000 w=1.8000 b=0.6000
epoch=2 loss=0.2000 w=1.9000 b=0.6800
epoch=3 loss=0.0920 w=1.9560 b=0.7240
learning_rate=0.1 batch_size=2

观察结果可以发现,权重从 1.0 更新到 1.956,偏置从 0 更新到 0.724,而学习率始终是 0.1,批量大小始终是 2。损失在这三次更新中持续下降。

这个实验只使用两条数据,因此 `batch_size=2` 恰好对应全批量梯度下降。代码用 `x[:batch_size]` 选取样本只是为了展示参数职责;真正的多批次训练还需要遍历全部批次,通常也会在每轮开始时打乱数据。

怎样避免把超参数当作求导变量

在 PyTorch 等自动微分框架中,可训练参数通常需要被计算图追踪。以常见的线性层为例,`torch.nn.Linear(1, 1)` 内部默认包含可训练的 `weight` 和 `bias`。

优化器会读取这些参数对应的梯度,然后根据学习率决定更新幅度。批量大小则属于数据加载或训练循环的配置,不应被当成线性层的权重。

可以用三个问题检查一个变量是否属于可训练参数:

  1. 它是否直接决定模型当前的预测函数?例如权重和偏置决定 wx+bwx+b 的输出。
  2. 是否需要计算损失对它的梯度,并由优化器更新?如果是,它通常属于可训练参数。
  3. 它是否用于控制训练过程,例如更新步长、批次划分或训练轮数?如果是,它通常属于超参数。

还要区分模型参数和优化器内部状态。例如 Adam 优化器会维护梯度的一阶、二阶矩估计,这些状态在训练时发生变化,但它们不是模型的权重,也不属于通常所说的人工设置的超参数。

修改超参数并检查训练行为

使用前面的程序完成两个对照实验,每次只改变一个配置值,避免无法确定结果变化的原因。

首先将 `learning_rate` 从 0.1 改为 0.01,保持其他变量不变。预期第一轮更新后的权重为 1.08,偏置为 0.06,明显小于原实验的更新幅度。

然后恢复学习率为 0.1,将 `batch_size` 从 2 改为 1。由于示例只选取第一条样本,第一轮损失由原来的 8.0 变为 4.0,更新后的权重和偏置均为 1.4。这说明不同批次计算出的梯度可以不同,但并不代表哪个批量大小一定更好。

在常规模型训练中,应把权重和偏置交给优化器更新,把学习率、批量大小等配置留给实验管理。检查训练日志时分别记录两者,才能判断性能变化究竟来自模型学习,还是来自人为调整的训练设置。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

区分可训练参数和超参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通