机器学习与深度学习 / 系统课时
保存与加载参数
保存与加载参数
训练得到的模型需要在程序退出后继续使用。本课使用 state_dict 保存参数文件,再把它加载到新建的同结构模型中,并通过输出对比验证恢复结果完全一致。
学习目标
- 理解状态字典保存了哪些内容,以及为什么不直接依赖完整模型对象。
- 使用
torch.save()和torch.load()完成参数持久化。 - 检查缺失键、意外键和推理输出,验证加载是否成功。
为什么优先保存状态字典
state_dict 是一个从参数名称到张量的有序映射,通常包含权重、偏置以及批归一化等模块注册的缓冲区。它不保存模型类的 Python 代码,因此文件更容易跨脚本管理,也更适合版本控制和部署。
加载时必须先创建模型结构,再把状态字典写入对应参数。默认的严格加载要求参数名称和形状全部匹配;这能尽早暴露网络层改名、类别数变化或结构不一致的问题。
完整保存与恢复
下面的示例创建一个小型全连接网络,保存其状态字典,再加载到另一个同结构实例中。加载前后的输出使用同一输入进行比较。
from pathlib import Path
import torch
from torch import nn
class TinyNet(nn.Module):
def __init__(self) -> None:
super().__init__()
self.fc1 = nn.Linear(4, 3)
self.fc2 = nn.Linear(3, 2)
def forward(self, x: torch.Tensor) -> torch.Tensor:
return self.fc2(torch.relu(self.fc1(x)))
def main() -> None:
torch.manual_seed(7)
original = TinyNet()
sample = torch.tensor([[1.0, 2.0, 3.0, 4.0]])
before = original(sample)
path = Path("tiny_net_state.pt")
# 只保存状态字典,不把模型类本身序列化进文件
torch.save(original.state_dict(), path)
restored = TinyNet()
state = torch.load(path, map_location="cpu", weights_only=True)
result = restored.load_state_dict(state)
restored.eval()
after = restored(sample)
print(f"keys:{list(state.keys())}")
print(f"missing_keys:{result.missing_keys}")
print(f"unexpected_keys:{result.unexpected_keys}")
print(f"outputs_equal:{torch.allclose(before, after)}")
print(f"file_exists:{path.exists()}")
# 示例结束后清理本地文件
path.unlink(missing_ok=True)
if __name__ == "__main__":
main()预期输出如下。
keys:['fc1.weight', 'fc1.bias', 'fc2.weight', 'fc2.bias']
missing_keys:[]
unexpected_keys:[]
outputs_equal:True
file_exists:Trueoutputs_equal:True 表示参数已经正确恢复。missing_keys 和 unexpected_keys 都为空,说明状态字典与模型结构完全匹配。
兼容结构如何加载
load_state_dict() 默认使用严格模式。只有在明确知道结构差异且愿意自行处理时,才使用 strict=False。例如迁移学习中新增分类头时,旧文件可能缺少新分类头参数;此时必须检查返回结果中的缺失键和意外键,不能忽略它们。
参数形状不同仍会导致加载失败。若旧模型输出 10 类,新模型输出 5 类,即使层名称相同,分类层权重形状也不兼容。正确做法通常是只加载形状匹配的骨干网络参数,再重新初始化并训练新的输出层。
设备与推理模式检查
map_location="cpu" 可以把在其他设备上保存的张量映射到 CPU,避免加载环境没有对应加速设备时失败。加载完成后,再按需要调用 model.to(device) 迁移模型。
用于推理时还应调用 eval(),因为训练或评估模式不会保存在状态字典中。对于包含 Dropout 或 BatchNorm 的模型,遗漏这一步会使加载成功但预测行为不符合预期。
只加载可信来源的参数文件。状态字典更便于管理,但文件读取仍应遵循项目的安全边界。