机器学习与深度学习 / 系统课时
预训练与迁移学习
预训练与迁移学习
本课解决两个问题:预训练模型为什么能减少视觉任务的数据需求,以及什么时候迁移有效。学完后,你能够从特征复用、领域差异和训练策略三个角度判断是否适合采用迁移学习。
学习目标
- 解释预训练特征如何被下游任务复用
- 判断源领域与目标领域差异对迁移效果的影响
- 选择特征提取或微调作为初始方案
迁移学习解决什么问题
从零训练视觉模型通常需要大量标注数据和较长训练时间。迁移学习先在大规模源数据集上学习通用表示,再把这些表示用于目标任务,使模型不必重新学习边缘、纹理、形状等基础模式。
一个典型模型可以拆成“骨干网络”和“任务头”。骨干网络负责提取特征,任务头把特征映射为目标类别、检测框或分割结果。迁移时通常保留骨干网络,替换与原任务强绑定的任务头。

预训练特征为什么可复用
卷积网络前部通常学习局部边缘、颜色变化和纹理,中后部逐渐组合出部件与语义结构。基础视觉模式在许多任务中都会出现,因此源任务学到的参数可以成为目标任务的较好起点。
这种起点并不等于直接得到答案。目标任务仍需要新的分类头,并可能需要继续调整部分骨干参数。迁移学习提高的是数据效率和收敛速度,而不是保证任何目标数据都能获得更高精度。
领域差异决定迁移上限
源领域与目标领域越接近,已有特征通常越容易复用。例如,自然图像预训练模型迁移到商品分类,往往比迁移到医学灰度影像更直接,因为输入分布、纹理模式和目标语义更相似。
判断领域差异时,应同时观察输入外观、标签含义和任务形式。即使图片相似,若源任务是分类而目标任务是像素级分割,也需要重新设计任务头,并为更细粒度的空间信息保留足够的可训练层。
两种常见迁移策略
特征提取适合数据较少或算力有限的场景:冻结骨干网络,只训练新任务头。它训练快、过拟合风险低,但目标领域差异较大时适应能力有限。
微调会解冻骨干网络的部分或全部层,并使用较小学习率继续训练。它通常能获得更高上限,但需要更多数据、显存和正则化控制。实践中可先训练任务头,再从靠近输出端的层开始逐步解冻。
Tips:迁移效果不佳时,先检查数据预处理是否与预训练权重要求一致,再考虑扩大解冻范围。输入尺寸、归一化均值和标准差不匹配,可能让可复用特征失效。
本课总结
- 预训练通过复用通用视觉特征,减少目标任务从零学习的成本
- 领域差异越大,越需要解冻更多层并重新适配特征
- 数据少时先做特征提取,数据充足时再逐步微调
下一课预告
下一课将把迁移学习落到代码中:替换分类头、冻结骨干网络,并核对真正参与训练的参数。