机器学习与深度学习 / 系统课时

设置差异化学习率

设置差异化学习率

迁移学习中,新建分类头通常需要较快学习,而预训练骨干层只需小幅调整。差异化学习率就是把不同参数放进优化器的不同参数组,让同一次反向传播按不同步长更新。这里继续以 ResNet18 的 layer4 与 fc 为例。

学习目标

  • 能把骨干网络与新任务层拆成互不重叠的参数组。
  • 能为不同参数组设置 1e-4 与 1e-3 等不同学习率。
  • 能检查参数组配置,并理解学习率调度对各组的影响。

划分参数组

一个稳妥的起点是让预训练层学习率比新分类头低 10 倍。例如只解冻 ResNet18 的 layer4 与 fc 时,可以把 layer4 视为待微调骨干组,把随机初始化的 fc 视为新任务组。

参数组 参数来源 起始学习率 目的
骨干组 model.layer4.parameters() 1e-4 小幅调整高层预训练特征
任务头组 model.fc.parameters() 1e-3 更快学习新的分类边界

不要把同一个 Parameter 放进两个组,也不要把已经 requires_grad=False 的早期层混入优化器。若后续解冻 layer3,可以新增第三组并从 1e-5 起步,形成 1e-5 : 1e-4 : 1e-3 的三级比例。

配置优化器并验证

下面示例构造两个 AdamW 参数组,先断言两组没有重复参数,再执行一次训练步骤。代码使用 torchvision 0.13+ 的 weights= 接口;首次运行可能先下载预训练权重。

python
import torch
from torch import nn
from torchvision.models import ResNet18_Weights, resnet18

def main():
    torch.manual_seed(7)
    model = resnet18(weights=ResNet18_Weights.DEFAULT)
    model.fc = nn.Linear(model.fc.in_features, 3)

    # 只训练 layer4 和新的分类头。
    for parameter in model.parameters():
        parameter.requires_grad = False
    for parameter in model.layer4.parameters():
        parameter.requires_grad = True
    for parameter in model.fc.parameters():
        parameter.requires_grad = True

    backbone_params = list(model.layer4.parameters())
    head_params = list(model.fc.parameters())
    assert {id(p) for p in backbone_params}.isdisjoint({id(p) for p in head_params})

    # 每个参数组拥有独立 lr,weight_decay 此处保持一致。
    optimizer = torch.optim.AdamW(
        [
            {"params": backbone_params, "lr": 1e-4, "weight_decay": 1e-4},
            {"params": head_params, "lr": 1e-3, "weight_decay": 1e-4},
        ]
    )
    criterion = nn.CrossEntropyLoss()

    model.eval()
    model.layer4.train()
    model.fc.train()

    images = torch.randn(2, 3, 224, 224)
    labels = torch.tensor([0, 2])

    optimizer.zero_grad(set_to_none=True)
    logits = model(images)
    loss = criterion(logits, labels)
    loss.backward()
    optimizer.step()

    print("backbone lr:", optimizer.param_groups[0]["lr"])
    print("head lr:", optimizer.param_groups[1]["lr"])
    print("learning-rate ratio:", optimizer.param_groups[1]["lr"] / optimizer.param_groups[0]["lr"])
    print("logits shape:", tuple(logits.shape))

if __name__ == "__main__":
    main()

预期输出

text
backbone lr: 0.0001
head lr: 0.001
learning-rate ratio: 10.0
logits shape: (2, 3)

检查重点不是“优化器里有两个组”本身,而是每组参数来源和学习率都符合设计。训练前打印 optimizer.param_groups 中的 lr,可以快速发现组顺序写反或学习率误填的问题。

控制学习率比例

10 倍 是常用起点,不是固定答案。若新数据集与预训练任务很接近,可让骨干更保守,例如 layer4=3e-5、fc=3e-4;若类别差异很大且样本充足,可以逐步提高骨干学习率,但通常仍让分类头更大。

判断比例是否过激,可以看前 2~3 个 epoch:若训练损失突然剧烈震荡,或验证准确率在解冻后立刻下降,先把骨干组学习率缩小 2~10 倍;若分类头很快收敛而骨干几乎没有改善,再小幅提高骨干组,而不是同时放大两组。

与学习率调度器配合

若希望两组始终保持固定比例,可使用按比例乘法衰减的调度器。例如 torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.5) 每个 epoch 调用一次 scheduler.step() 后,两组都会乘以 0.5,原来的 10 倍比例保持不变。

epoch 骨干组 lr 任务头组 lr
0 1e-4 1e-3
1 5e-5 5e-4
2 2.5e-5 2.5e-4

如果改用会收敛到统一下限的调度策略,要额外检查不同组在训练后期是否仍符合预期比例。最直接的验证方式是在每个 epoch 结束时记录各 param_group["lr"],不要只记录一个全局学习率。

避免参数组配置失效

常见错误有三类:第一,把某层既放入骨干组又放入任务头组;第二,解冻了参数却忘记重新创建或更新优化器,导致新解冻参数不在任何组中;第三,先创建优化器,随后替换 model.fc,这样新的分类头参数不会自动加入旧优化器。

实际训练中,每次改变解冻范围或替换任务头后,都重新构造优化器,并核对两件事:所有 requires_grad=True 的参数都恰好出现在一个参数组中;各组打印出的 lr 与设计值一致。这样差异化学习率才真正作用到预期层。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设置差异化学习率

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通