机器学习与深度学习 / 系统课时

保存与加载权重

保存与加载权重

只保存权重适合“网络结构由代码保证一致,只需要持久化训练参数”的场景。完成本节后,你会用 Keras 3 的 .weights.h5 文件保存参数,在相同结构中恢复预测,并知道为什么这种方式不能完整恢复优化器状态。

学习目标

  • 使用 save_weights() 与 load_weights() 保存和恢复模型参数。
  • 验证加载前后的预测结果是否一致。
  • 判断结构变化、继续训练和仅推理时该怎样处理。

先分清权重文件保存了什么

以下示例适用于 TensorFlow 2.16+ 默认使用的 Keras 3。权重文件保存各层的可训练与非可训练变量,不保存网络结构、损失函数、指标配置和优化器训练状态;因此加载前必须先创建兼容的模型对象。

内容 .weights.h5 是否包含 实际影响
Dense/Conv 等层的 kernel、bias 是 可恢复已经学到的参数
BatchNormalization 的 moving mean/variance 是 推理统计量可恢复
网络结构 否 必须用代码重新构建
optimizer 状态 否 继续训练时优化器从新状态开始
compile() 的 loss/metrics 否 继续训练前需要重新编译

Keras 3 单文件权重路径应使用 .weights.h5 后缀,例如 classifier.weights.h5。大模型还可以使用 max_shard_size 做分片,但普通教学和中小模型先使用单文件最直接。

用相同结构保存并恢复

下面的程序先训练一次模型,再保存权重;随后重新创建同样结构的模型,加载权重并比较预测。Input(shape=(4,)) 会在建模时确定权重形状,因此新模型可直接调用 load_weights()。

python
import os
import numpy as np
import tensorflow as tf

tf.keras.utils.set_random_seed(7)

def build_model():
    return tf.keras.Sequential([
        tf.keras.Input(shape=(4,)),
        tf.keras.layers.Dense(8, activation="relu"),
        tf.keras.layers.Dense(1),
    ])

# 固定一小批数据,既用于一次训练,也用于恢复后的回归检查。
x = np.array(
    [[1.0, 2.0, 3.0, 4.0], [4.0, 3.0, 2.0, 1.0]],
    dtype=np.float32,
)
y = np.array([[1.0], [0.0]], dtype=np.float32)

model = build_model()
model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.01),
    loss="mse",
)
model.train_on_batch(x, y)

before = model.predict(x, verbose=0)

# Keras 3 单文件权重使用 .weights.h5 后缀。
weights_path = "classifier.weights.h5"
model.save_weights(weights_path)

# 新对象必须先具有兼容结构,再加载旧参数。
restored = build_model()
restored.load_weights(weights_path)
after = restored.predict(x, verbose=0)

# 权重文件不带 compile 配置,因此继续训练前重新编译。
restored.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.01),
    loss="mse",
)
restored.train_on_batch(x, y)

print("weights_file_exists:", os.path.exists(weights_path))
print("predictions_equal:", np.allclose(before, after, atol=1e-6))
print("can_continue_training:", True)

预期输出

text
weights_file_exists: True
predictions_equal: True
can_continue_training: True

predictions_equal: True 是最直接的恢复校验;实际项目不要只看“文件存在”,还应固定一小批验证输入,比较加载前后的输出是否在容差范围内一致。

恢复训练时注意优化器状态

加载权重后可以继续 fit(),但这不是“从原训练现场精确续跑”。例如原模型的 Adam 已经迭代 20,000 步,权重文件不会带回 Adam 的一阶、二阶动量和迭代计数;新建优化器会从自己的初始状态开始。

可直接采用这条判断规则:只做推理或迁移学习时,权重文件通常足够;只要求从已有参数继续微调时,也可以重新 compile() 后训练;如果需要连同 optimizer 状态、编译配置一起恢复,应保存完整 .keras 模型。

处理结构不匹配

load_weights() 默认按网络拓扑加载,权重数量和形状必须兼容。增加一个无权重的 Dropout 通常不会破坏拓扑权重顺序,但把 Dense(8) 改成 Dense(16) 会改变权重形状,正常加载应报不匹配错误。

改动 建议
仅调整 Dropout 等无权重层 加载后仍用固定输入验证预测
改变 Dense/Conv 的单元数或通道数 不要直接加载旧权重
迁移学习只想复用可匹配层 可使用 load_weights(..., skip_mismatch=True),并检查警告
生产恢复要求完全一致 固定模型构建代码版本,并对输入输出做回归校验

skip_mismatch=True 会跳过不兼容层,适合有意做迁移学习,不适合用来掩盖线上模型版本错配。恢复后若关键层没有真正加载,程序仍可能继续运行,但预测结果已经不是原模型。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

保存与加载权重

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通