机器学习与深度学习 / 系统课时

分阶段微调模型

分阶段微调模型

直接一次性解冻全部预训练参数,常会让新任务的小数据集迅速破坏已有特征。本课将建立“先训练分类头、再解冻高层、最后小步全量微调”的流程,并给出差异化学习率与停止条件。

学习目标

  • 设计由浅入深的参数解冻顺序
  • 为分类头、高层特征和底层特征设置不同学习率
  • 使用验证集指标决定阶段切换与最终停止

为什么要分阶段解冻

预训练模型的底层通常保存边缘、纹理等通用特征,高层更接近原任务的语义。新任务刚开始时,随机初始化的分类头误差较大;若此时让梯度同时更新全部层,底层稳定特征也会被剧烈改写。

更稳妥的做法是先固定主干网络,只让分类头适应新标签;随后解冻靠近输出端的高层;只有当验证指标仍有提升空间时,才用更小学习率微调整个网络。

分阶段微调的解冻流程

设计三个训练阶段

阶段 可训练部分 建议学习率关系 进入下一阶段的条件
1 新分类头 最大 验证指标连续若干轮不再明显提升
2 分类头与最后一个特征块 高层较小、分类头较大 高层已适应新任务但仍有欠拟合
3 全部参数 越靠近输入学习率越小 达到早停条件或学习率降至下限

阶段数量不是固定规则。数据量很小或新旧任务非常相似时,可能停在第二阶段;数据充足且领域差异明显时,才更值得进行全量微调。

实现冻结与差异化学习率

下面使用 ResNet-18 演示参数分组。为保证示例无需下载权重,代码使用 weights=None;真实迁移学习应改为官方预训练权重,并确保权重已缓存或可联网下载。

python
import torch
from torch import nn
from torchvision.models import resnet18

torch.manual_seed(7)

model = resnet18(weights=None)
model.fc = nn.Linear(model.fc.in_features, 5)

def set_trainable(stage: int) -> None:
    # 每次切换阶段前先统一冻结,避免遗留错误状态
    for parameter in model.parameters():
        parameter.requires_grad = False

    if stage >= 1:
        for parameter in model.fc.parameters():
            parameter.requires_grad = True

    if stage >= 2:
        for parameter in model.layer4.parameters():
            parameter.requires_grad = True

    if stage >= 3:
        for parameter in model.parameters():
            parameter.requires_grad = True

def build_optimizer(stage: int) -> torch.optim.Optimizer:
    named = dict(model.named_parameters())

    if stage == 1:
        groups = [
            {"params": [p for n, p in named.items() if n.startswith("fc.")], "lr": 1e-3}
        ]
    elif stage == 2:
        groups = [
            {"params": [p for n, p in named.items() if n.startswith("layer4.")], "lr": 1e-4},
            {"params": [p for n, p in named.items() if n.startswith("fc.")], "lr": 5e-4},
        ]
    else:
        # 参数组互斥,确保同一参数不会被优化器重复管理
        groups = [
            {
                "params": [
                    p for n, p in named.items()
                    if not n.startswith("layer4.") and not n.startswith("fc.")
                ],
                "lr": 1e-5,
            },
            {"params": [p for n, p in named.items() if n.startswith("layer4.")], "lr": 5e-5},
            {"params": [p for n, p in named.items() if n.startswith("fc.")], "lr": 2e-4},
        ]

    return torch.optim.AdamW(groups, weight_decay=1e-4)

for stage in (1, 2, 3):
    set_trainable(stage)
    optimizer = build_optimizer(stage)
    trainable_tensors = sum(p.requires_grad for p in model.parameters())
    learning_rates = [group["lr"] for group in optimizer.param_groups]
    print(f"stage={stage} trainable_tensors={trainable_tensors} lrs={learning_rates}")

预期输出

text
stage=1 trainable_tensors=2 lrs=[0.001]
stage=2 trainable_tensors=17 lrs=[0.0001, 0.0005]
stage=3 trainable_tensors=62 lrs=[1e-05, 5e-05, 0.0002]

trainable_tensors 统计的是参数张量数量,不是参数元素总数。若更换模型结构或 torchvision 版本,实际数量可能不同,但可训练范围与学习率层级应符合阶段设计。

决定何时切换与停止

每个阶段都应独立记录验证损失和核心任务指标。常见策略是:验证指标在 patience 轮内没有超过最小改善量,就恢复该阶段最佳权重并进入下一阶段;全量微调阶段再次触发平台期时停止训练。

停止条件不应只看训练损失。训练损失继续下降而验证指标恶化,通常意味着过拟合;验证指标波动较大时,可同时要求学习率已经衰减到设定下限,避免过早结束。

还要注意 BatchNorm。即使参数已冻结,模型处于 train() 模式时运行均值和方差仍可能更新。小批量训练中可将冻结区域的 BatchNorm 保持在评估模式,或改用更稳定的归一化方案。

微调验收清单

  • 每次解冻后重新创建优化器,确认新参数已进入参数组
  • 分类头学习率高于已预训练层,底层学习率最低
  • 阶段切换前保存并恢复该阶段验证集最优权重
  • 训练日志同时记录阶段编号、学习率、验证指标和早停计数

本课总结

  • 分阶段微调可以降低随机分类头对预训练特征的破坏
  • 差异化学习率应体现“越通用的底层特征,更新越谨慎”
  • 阶段切换和最终停止都应由验证集表现驱动

下一课预告

下一课将进入目标检测任务,理解边界框、类别得分、IoU、非极大值抑制以及检测指标如何组成完整预测流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分阶段微调模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通