机器学习与深度学习 / 系统课时

比较迁移学习效果

比较迁移学习效果

迁移学习是否值得使用,不能只看某一次验证准确率。本课把从零训练、冻结主干做特征提取、解冻高层进行微调放进同一实验协议,同时比较准确率、可训练参数量、训练时间和显存成本。

学习目标

  • 明确从零训练、特征提取和微调三种方案实际更新哪些参数。
  • 用固定数据划分和训练预算做可重复的公平比较。
  • 根据准确率增益与训练成本选择合适的迁移策略。

先把三种方案定义清楚

以 torchvision ResNet-18 替换为 5 类分类头为例,三种实验必须保持网络结构和数据划分一致,只改变初始化方式与哪些层允许更新。替换分类头后模型共有 11,179,077 个参数。

方案 主干初始化 可训练部分 可训练参数
从零训练 weights=None 全部层 11,179,077
特征提取 ResNet18_Weights.DEFAULT 仅新的 fc 2,565
微调 ResNet18_Weights.DEFAULT layer4 与新的 fc 8,396,293

特征提取只训练约 0.023% 的参数,因此反向传播成本最低。解冻 ResNet-18 的整个 layer4 后,可训练比例约为 75.1%;这说明“只微调最后一个 stage”仍可能更新模型的大部分参数,不能把它当作接近冻结主干的低成本方案。

用同一实验协议比较

可以先用一个固定的 5 类小数据集建立基准,例如训练集 2000 张、验证集 500 张,输入统一为 224×224,batch_size=32,随机种子设为 42,每种方案最多训练 20 个 epoch。三组实验必须使用完全相同的训练集、验证集和评价代码。

建议把优化器也固定为 AdamW,并按训练范围调整学习率:从零训练使用 lr=1e-3、weight_decay=1e-4;特征提取只优化分类头,使用 lr=1e-3;微调时给 layer4 使用 lr=1e-4,给新分类头使用 lr=1e-3。验证指标至少记录 best validation accuracy、达到最佳值的 epoch、总训练分钟数和峰值显存。

固定 20 个 epoch 可以比较同预算结果,同时还应记录达到业务目标所需的时间。例如目标准确率是 85%,特征提取 6 分钟达到目标而微调 12 分钟才达到目标,即使后者最终准确率略高,前者仍可能更符合快速迭代需求。

用代码确认训练成本差异

下面的程序只验证三种冻结策略对应的参数规模,因此使用 weights=None 避免下载权重;真实的特征提取和微调实验必须把预训练模型改为 resnet18(weights=ResNet18_Weights.DEFAULT)。参数数量只由结构决定,不受权重数值影响。

python
from torch import nn
from torchvision.models import resnet18


def build_model(mode: str):
    model = resnet18(weights=None)
    model.fc = nn.Linear(model.fc.in_features, 5)

    if mode == "feature":
        # 冻结整个网络,再只开放新的分类头。
        for parameter in model.parameters():
            parameter.requires_grad = False
        for parameter in model.fc.parameters():
            parameter.requires_grad = True
    elif mode == "finetune":
        for parameter in model.parameters():
            parameter.requires_grad = False
        for parameter in model.layer4.parameters():
            parameter.requires_grad = True
        for parameter in model.fc.parameters():
            parameter.requires_grad = True
    elif mode != "scratch":
        raise ValueError(f"unknown mode: {mode}")

    return model


def main():
    for mode in ("scratch", "feature", "finetune"):
        model = build_model(mode)
        total = sum(p.numel() for p in model.parameters())
        trainable = sum(p.numel() for p in model.parameters() if p.requires_grad)
        ratio = 100 * trainable / total
        print(f"{mode}: {trainable}/{total} ({ratio:.3f}%)")


if __name__ == "__main__":
    main()

预期输出:

text
scratch: 11179077/11179077 (100.000%)
feature: 2565/11179077 (0.023%)
finetune: 8396293/11179077 (75.107%)

这些数字能直接解释训练成本为什么不同,但不能替代验证集准确率。参数少通常意味着反向传播更轻,却不保证任务效果一定更好。

按准确率增益换算额外成本

假设一次受控实验得到下面结果,数字仅用于演示判读方式,不代表 ResNet-18 在所有数据集上的固定性能。

方案 最佳验证准确率 训练时间 判读
从零训练 72.4% 22 分钟 小数据下尚未学到足够通用特征
特征提取 86.2% 6 分钟 已超过 85% 业务门槛,成本最低
微调 89.1% 14 分钟 比特征提取高 2.9 个百分点,但多花 8 分钟

如果上线门槛是 85%,这个例子应优先选择特征提取;如果要求至少 88%,则需要微调。比较时应使用“百分点”描述准确率差,例如 89.1% 减 86.2% 是 2.9 个百分点,而不是笼统地说提高了 2.9%。

当三种方法差距不足 1 个百分点时,还应重复至少 3 个随机种子再决定,因为单次训练波动可能已经与差异同量级。记录平均值的同时保留每次结果,避免一个偶然的最好 checkpoint 决定方案。

冻结梯度时别漏掉 BatchNorm 状态

把参数设为 requires_grad=False 只会阻止梯度更新,不会自动停止 BatchNorm 的 running_mean 和 running_var 在训练模式下变化。做纯特征提取时,如果每个 epoch 直接调用 model.train(),冻结主干的统计量仍可能被新数据改写。

ResNet-18 只训练分类头时,可以在训练阶段先调用 model.eval() 固定主干中的 BatchNorm,再调用 model.fc.train() 让分类头保持训练状态。微调 layer4 时则应明确决定哪些 BatchNorm 跟随新域更新,并在三组实验中记录这一策略。只有初始化、可训练层、BatchNorm 状态和数据划分都受控,比较出来的差异才真正属于迁移策略本身。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

比较迁移学习效果

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通