机器学习与深度学习 / 系统课时
比较迁移学习效果
比较迁移学习效果
迁移学习是否值得使用,不能只看某一次验证准确率。本课把从零训练、冻结主干做特征提取、解冻高层进行微调放进同一实验协议,同时比较准确率、可训练参数量、训练时间和显存成本。
学习目标
- 明确从零训练、特征提取和微调三种方案实际更新哪些参数。
- 用固定数据划分和训练预算做可重复的公平比较。
- 根据准确率增益与训练成本选择合适的迁移策略。
先把三种方案定义清楚
以 torchvision ResNet-18 替换为 5 类分类头为例,三种实验必须保持网络结构和数据划分一致,只改变初始化方式与哪些层允许更新。替换分类头后模型共有 11,179,077 个参数。
| 方案 | 主干初始化 | 可训练部分 | 可训练参数 |
|---|---|---|---|
| 从零训练 | weights=None |
全部层 | 11,179,077 |
| 特征提取 | ResNet18_Weights.DEFAULT |
仅新的 fc |
2,565 |
| 微调 | ResNet18_Weights.DEFAULT |
layer4 与新的 fc |
8,396,293 |
特征提取只训练约 0.023% 的参数,因此反向传播成本最低。解冻 ResNet-18 的整个 layer4 后,可训练比例约为 75.1%;这说明“只微调最后一个 stage”仍可能更新模型的大部分参数,不能把它当作接近冻结主干的低成本方案。
用同一实验协议比较
可以先用一个固定的 5 类小数据集建立基准,例如训练集 2000 张、验证集 500 张,输入统一为 224×224,batch_size=32,随机种子设为 42,每种方案最多训练 20 个 epoch。三组实验必须使用完全相同的训练集、验证集和评价代码。
建议把优化器也固定为 AdamW,并按训练范围调整学习率:从零训练使用 lr=1e-3、weight_decay=1e-4;特征提取只优化分类头,使用 lr=1e-3;微调时给 layer4 使用 lr=1e-4,给新分类头使用 lr=1e-3。验证指标至少记录 best validation accuracy、达到最佳值的 epoch、总训练分钟数和峰值显存。
固定 20 个 epoch 可以比较同预算结果,同时还应记录达到业务目标所需的时间。例如目标准确率是 85%,特征提取 6 分钟达到目标而微调 12 分钟才达到目标,即使后者最终准确率略高,前者仍可能更符合快速迭代需求。
用代码确认训练成本差异
下面的程序只验证三种冻结策略对应的参数规模,因此使用 weights=None 避免下载权重;真实的特征提取和微调实验必须把预训练模型改为 resnet18(weights=ResNet18_Weights.DEFAULT)。参数数量只由结构决定,不受权重数值影响。
from torch import nn
from torchvision.models import resnet18
def build_model(mode: str):
model = resnet18(weights=None)
model.fc = nn.Linear(model.fc.in_features, 5)
if mode == "feature":
# 冻结整个网络,再只开放新的分类头。
for parameter in model.parameters():
parameter.requires_grad = False
for parameter in model.fc.parameters():
parameter.requires_grad = True
elif mode == "finetune":
for parameter in model.parameters():
parameter.requires_grad = False
for parameter in model.layer4.parameters():
parameter.requires_grad = True
for parameter in model.fc.parameters():
parameter.requires_grad = True
elif mode != "scratch":
raise ValueError(f"unknown mode: {mode}")
return model
def main():
for mode in ("scratch", "feature", "finetune"):
model = build_model(mode)
total = sum(p.numel() for p in model.parameters())
trainable = sum(p.numel() for p in model.parameters() if p.requires_grad)
ratio = 100 * trainable / total
print(f"{mode}: {trainable}/{total} ({ratio:.3f}%)")
if __name__ == "__main__":
main()预期输出:
scratch: 11179077/11179077 (100.000%)
feature: 2565/11179077 (0.023%)
finetune: 8396293/11179077 (75.107%)这些数字能直接解释训练成本为什么不同,但不能替代验证集准确率。参数少通常意味着反向传播更轻,却不保证任务效果一定更好。
按准确率增益换算额外成本
假设一次受控实验得到下面结果,数字仅用于演示判读方式,不代表 ResNet-18 在所有数据集上的固定性能。
| 方案 | 最佳验证准确率 | 训练时间 | 判读 |
|---|---|---|---|
| 从零训练 | 72.4% | 22 分钟 | 小数据下尚未学到足够通用特征 |
| 特征提取 | 86.2% | 6 分钟 | 已超过 85% 业务门槛,成本最低 |
| 微调 | 89.1% | 14 分钟 | 比特征提取高 2.9 个百分点,但多花 8 分钟 |
如果上线门槛是 85%,这个例子应优先选择特征提取;如果要求至少 88%,则需要微调。比较时应使用“百分点”描述准确率差,例如 89.1% 减 86.2% 是 2.9 个百分点,而不是笼统地说提高了 2.9%。
当三种方法差距不足 1 个百分点时,还应重复至少 3 个随机种子再决定,因为单次训练波动可能已经与差异同量级。记录平均值的同时保留每次结果,避免一个偶然的最好 checkpoint 决定方案。
冻结梯度时别漏掉 BatchNorm 状态
把参数设为 requires_grad=False 只会阻止梯度更新,不会自动停止 BatchNorm 的 running_mean 和 running_var 在训练模式下变化。做纯特征提取时,如果每个 epoch 直接调用 model.train(),冻结主干的统计量仍可能被新数据改写。
ResNet-18 只训练分类头时,可以在训练阶段先调用 model.eval() 固定主干中的 BatchNorm,再调用 model.fc.train() 让分类头保持训练状态。微调 layer4 时则应明确决定哪些 BatchNorm 跟随新域更新,并在三组实验中记录这一策略。只有初始化、可训练层、BatchNorm 状态和数据划分都受控,比较出来的差异才真正属于迁移策略本身。