机器学习与深度学习 / 系统课时
加载预训练模型
加载预训练模型
TorchVision 已为常见视觉网络提供预训练权重枚举,可以把模型结构、权重版本、类别元数据和匹配的预处理放在同一套 API 中使用。本篇以 ResNet-18 为主示例,完成权重加载、输入预处理和输出形状验证,并说明版本兼容与常见失败。
学习目标
- 使用 TorchVision 的
weights枚举加载预训练视觉模型。 - 使用权重自带的 transforms 生成与预训练配置一致的输入。
- 区分
weights=...、weights=None与旧式pretrained=True的含义。
选择模型与权重枚举
在采用新权重 API 的 TorchVision 版本中,模型构造函数通过 weights 参数选择预训练权重。新项目应优先使用显式的权重枚举,而不是继续写旧式 pretrained=True。
| 模型 | 构造函数 | 默认预训练权重 |
|---|---|---|
| ResNet-18 | resnet18 |
ResNet18_Weights.DEFAULT |
| ResNet-50 | resnet50 |
ResNet50_Weights.DEFAULT |
| MobileNet V3 Small | mobilenet_v3_small |
MobileNet_V3_Small_Weights.DEFAULT |
DEFAULT 表示 TorchVision 当前为该权重枚举指定的推荐版本;若实验需要长期可复现,应进一步固定 PyTorch、TorchVision 版本,并记录实际使用的枚举成员。weights=None 只创建模型结构,不会加载预训练参数。
加载权重并验证模型
下面示例需要安装 PyTorch、TorchVision 和 Pillow。首次运行且本机缓存中没有对应权重时,TorchVision 会尝试下载权重文件;之后通常会复用缓存。
from PIL import Image
import torch
from torchvision.models import ResNet18_Weights, resnet18
weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights)
model.eval()
# 使用权重绑定的预处理,避免手写 resize、crop 和 normalize 时配错参数。
preprocess = weights.transforms()
image = Image.new("RGB", (640, 480), color=(128, 128, 128))
batch = preprocess(image).unsqueeze(0)
with torch.inference_mode():
logits = model(batch)
print(model.__class__.__name__)
print(tuple(batch.shape))
print(tuple(logits.shape))
print(len(weights.meta["categories"]))预期输出:
ResNet
(1, 3, 224, 224)
(1, 1000)
1000这里的 1000 来自 ImageNet 分类头。若你的目标任务只有 5 类,不能直接把这 1,000 个输出当作目标类别,而应在迁移学习阶段替换最后的分类层。
使用权重绑定的预处理
weights.transforms() 会返回与该组权重匹配的推理预处理。对 ResNet-18 的默认 ImageNet 权重,它会把输入整理为模型期望的张量形态,并使用与预训练一致的缩放、裁剪和归一化设置。相比手写 Resize、CenterCrop、Normalize,这种写法更不容易把均值、标准差或尺寸配错。
验证时至少检查两个结果:单张 RGB 图片经过预处理后应得到形如 (3, 224, 224) 的张量,增加 batch 维后应为 (1, 3, 224, 224);送入未修改的 ResNet-18 后,输出应为 (1, 1000)。如果输入通道数不是 3,或输出类别数与你预期不符,应先检查数据和模型头,而不是继续训练。
为目标任务替换分类头
加载预训练模型后,最常见的下一步是替换最后一层。ResNet-18 的分类层是 model.fc,其输入特征数可通过 model.fc.in_features 读取;对于 5 类任务,可将它替换为 torch.nn.Linear(model.fc.in_features, 5)。这样只改变最后的类别映射,不会丢掉前面已加载的卷积特征。
如果先做固定特征提取,应冻结 backbone 参数,只让新分类头参与优化;如果后续微调,再按需要解冻 layer4 或更多层,并给 backbone 使用比新分类头更小的学习率。不要在替换分类头后重新创建整个模型,否则会把刚加载的预训练参数一起丢掉。
典型失败怎么定位
首次加载时报网络错误,通常不是模型定义问题,而是权重文件尚未缓存且当前环境无法访问下载地址。可在有网络的环境先完成一次下载并准备缓存,或由部署流程提前放置权重文件;不要把 weights=None 当作“离线加载预训练”,它实际上是不加载预训练权重。
若代码提示构造函数不认识 weights,先检查 TorchVision 版本。权重枚举 API 用于较新的 TorchVision;旧代码里的 pretrained=True 属于历史接口,新项目不应混用两种写法。升级或降级时要让 torch 与 torchvision 使用彼此兼容的版本组合。
若模型能运行但预测明显异常,优先确认是否使用了当前权重对应的 weights.transforms()。模型结构正确、权重也加载成功,并不代表任意预处理都兼容;尺寸、通道顺序和归一化只要有一项不一致,都可能让输出质量显著下降。