机器学习与深度学习 / 系统课时
设置差异化学习率
设置差异化学习率
迁移学习中,新建分类头通常需要较快学习,而预训练骨干层只需小幅调整。差异化学习率就是把不同参数放进优化器的不同参数组,让同一次反向传播按不同步长更新。这里继续以 ResNet18 的 layer4 与 fc 为例。
学习目标
- 能把骨干网络与新任务层拆成互不重叠的参数组。
- 能为不同参数组设置
1e-4与1e-3等不同学习率。 - 能检查参数组配置,并理解学习率调度对各组的影响。
划分参数组
一个稳妥的起点是让预训练层学习率比新分类头低 10 倍。例如只解冻 ResNet18 的 layer4 与 fc 时,可以把 layer4 视为待微调骨干组,把随机初始化的 fc 视为新任务组。
| 参数组 | 参数来源 | 起始学习率 | 目的 |
|---|---|---|---|
| 骨干组 | model.layer4.parameters() |
1e-4 |
小幅调整高层预训练特征 |
| 任务头组 | model.fc.parameters() |
1e-3 |
更快学习新的分类边界 |
不要把同一个 Parameter 放进两个组,也不要把已经 requires_grad=False 的早期层混入优化器。若后续解冻 layer3,可以新增第三组并从 1e-5 起步,形成 1e-5 : 1e-4 : 1e-3 的三级比例。
配置优化器并验证
下面示例构造两个 AdamW 参数组,先断言两组没有重复参数,再执行一次训练步骤。代码使用 torchvision 0.13+ 的 weights= 接口;首次运行可能先下载预训练权重。
import torch
from torch import nn
from torchvision.models import ResNet18_Weights, resnet18
def main():
torch.manual_seed(7)
model = resnet18(weights=ResNet18_Weights.DEFAULT)
model.fc = nn.Linear(model.fc.in_features, 3)
# 只训练 layer4 和新的分类头。
for parameter in model.parameters():
parameter.requires_grad = False
for parameter in model.layer4.parameters():
parameter.requires_grad = True
for parameter in model.fc.parameters():
parameter.requires_grad = True
backbone_params = list(model.layer4.parameters())
head_params = list(model.fc.parameters())
assert {id(p) for p in backbone_params}.isdisjoint({id(p) for p in head_params})
# 每个参数组拥有独立 lr,weight_decay 此处保持一致。
optimizer = torch.optim.AdamW(
[
{"params": backbone_params, "lr": 1e-4, "weight_decay": 1e-4},
{"params": head_params, "lr": 1e-3, "weight_decay": 1e-4},
]
)
criterion = nn.CrossEntropyLoss()
model.eval()
model.layer4.train()
model.fc.train()
images = torch.randn(2, 3, 224, 224)
labels = torch.tensor([0, 2])
optimizer.zero_grad(set_to_none=True)
logits = model(images)
loss = criterion(logits, labels)
loss.backward()
optimizer.step()
print("backbone lr:", optimizer.param_groups[0]["lr"])
print("head lr:", optimizer.param_groups[1]["lr"])
print("learning-rate ratio:", optimizer.param_groups[1]["lr"] / optimizer.param_groups[0]["lr"])
print("logits shape:", tuple(logits.shape))
if __name__ == "__main__":
main()预期输出
backbone lr: 0.0001
head lr: 0.001
learning-rate ratio: 10.0
logits shape: (2, 3)检查重点不是“优化器里有两个组”本身,而是每组参数来源和学习率都符合设计。训练前打印 optimizer.param_groups 中的 lr,可以快速发现组顺序写反或学习率误填的问题。
控制学习率比例
10 倍 是常用起点,不是固定答案。若新数据集与预训练任务很接近,可让骨干更保守,例如 layer4=3e-5、fc=3e-4;若类别差异很大且样本充足,可以逐步提高骨干学习率,但通常仍让分类头更大。
判断比例是否过激,可以看前 2~3 个 epoch:若训练损失突然剧烈震荡,或验证准确率在解冻后立刻下降,先把骨干组学习率缩小 2~10 倍;若分类头很快收敛而骨干几乎没有改善,再小幅提高骨干组,而不是同时放大两组。
与学习率调度器配合
若希望两组始终保持固定比例,可使用按比例乘法衰减的调度器。例如 torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.5) 每个 epoch 调用一次 scheduler.step() 后,两组都会乘以 0.5,原来的 10 倍比例保持不变。
| epoch | 骨干组 lr | 任务头组 lr |
|---|---|---|
| 0 | 1e-4 |
1e-3 |
| 1 | 5e-5 |
5e-4 |
| 2 | 2.5e-5 |
2.5e-4 |
如果改用会收敛到统一下限的调度策略,要额外检查不同组在训练后期是否仍符合预期比例。最直接的验证方式是在每个 epoch 结束时记录各 param_group["lr"],不要只记录一个全局学习率。
避免参数组配置失效
常见错误有三类:第一,把某层既放入骨干组又放入任务头组;第二,解冻了参数却忘记重新创建或更新优化器,导致新解冻参数不在任何组中;第三,先创建优化器,随后替换 model.fc,这样新的分类头参数不会自动加入旧优化器。
实际训练中,每次改变解冻范围或替换任务头后,都重新构造优化器,并核对两件事:所有 requires_grad=True 的参数都恰好出现在一个参数组中;各组打印出的 lr 与设计值一致。这样差异化学习率才真正作用到预期层。