机器学习与深度学习 / 系统课时

保存与加载参数

保存与加载参数

训练得到的模型需要在程序退出后继续使用。本课使用 state_dict 保存参数文件,再把它加载到新建的同结构模型中,并通过输出对比验证恢复结果完全一致。

学习目标

  • 理解状态字典保存了哪些内容,以及为什么不直接依赖完整模型对象。
  • 使用 torch.save() 和 torch.load() 完成参数持久化。
  • 检查缺失键、意外键和推理输出,验证加载是否成功。

为什么优先保存状态字典

state_dict 是一个从参数名称到张量的有序映射,通常包含权重、偏置以及批归一化等模块注册的缓冲区。它不保存模型类的 Python 代码,因此文件更容易跨脚本管理,也更适合版本控制和部署。

加载时必须先创建模型结构,再把状态字典写入对应参数。默认的严格加载要求参数名称和形状全部匹配;这能尽早暴露网络层改名、类别数变化或结构不一致的问题。

完整保存与恢复

下面的示例创建一个小型全连接网络,保存其状态字典,再加载到另一个同结构实例中。加载前后的输出使用同一输入进行比较。

python
from pathlib import Path

import torch
from torch import nn

class TinyNet(nn.Module):
    def __init__(self) -> None:
        super().__init__()
        self.fc1 = nn.Linear(4, 3)
        self.fc2 = nn.Linear(3, 2)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.fc2(torch.relu(self.fc1(x)))

def main() -> None:
    torch.manual_seed(7)
    original = TinyNet()
    sample = torch.tensor([[1.0, 2.0, 3.0, 4.0]])
    before = original(sample)

    path = Path("tiny_net_state.pt")
    # 只保存状态字典,不把模型类本身序列化进文件
    torch.save(original.state_dict(), path)

    restored = TinyNet()
    state = torch.load(path, map_location="cpu", weights_only=True)
    result = restored.load_state_dict(state)
    restored.eval()
    after = restored(sample)

    print(f"keys:{list(state.keys())}")
    print(f"missing_keys:{result.missing_keys}")
    print(f"unexpected_keys:{result.unexpected_keys}")
    print(f"outputs_equal:{torch.allclose(before, after)}")
    print(f"file_exists:{path.exists()}")

    # 示例结束后清理本地文件
    path.unlink(missing_ok=True)

if __name__ == "__main__":
    main()

预期输出如下。

text
keys:['fc1.weight', 'fc1.bias', 'fc2.weight', 'fc2.bias']
missing_keys:[]
unexpected_keys:[]
outputs_equal:True
file_exists:True

outputs_equal:True 表示参数已经正确恢复。missing_keys 和 unexpected_keys 都为空,说明状态字典与模型结构完全匹配。

兼容结构如何加载

load_state_dict() 默认使用严格模式。只有在明确知道结构差异且愿意自行处理时,才使用 strict=False。例如迁移学习中新增分类头时,旧文件可能缺少新分类头参数;此时必须检查返回结果中的缺失键和意外键,不能忽略它们。

参数形状不同仍会导致加载失败。若旧模型输出 10 类,新模型输出 5 类,即使层名称相同,分类层权重形状也不兼容。正确做法通常是只加载形状匹配的骨干网络参数,再重新初始化并训练新的输出层。

设备与推理模式检查

map_location="cpu" 可以把在其他设备上保存的张量映射到 CPU,避免加载环境没有对应加速设备时失败。加载完成后,再按需要调用 model.to(device) 迁移模型。

用于推理时还应调用 eval(),因为训练或评估模式不会保存在状态字典中。对于包含 Dropout 或 BatchNorm 的模型,遗漏这一步会使加载成功但预测行为不符合预期。

只加载可信来源的参数文件。状态字典更便于管理,但文件读取仍应遵循项目的安全边界。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

保存与加载参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通