机器学习与深度学习 / 系统课时
保存与加载权重
保存与加载权重
只保存权重适合“网络结构由代码保证一致,只需要持久化训练参数”的场景。完成本节后,你会用 Keras 3 的 .weights.h5 文件保存参数,在相同结构中恢复预测,并知道为什么这种方式不能完整恢复优化器状态。
学习目标
- 使用
save_weights()与load_weights()保存和恢复模型参数。 - 验证加载前后的预测结果是否一致。
- 判断结构变化、继续训练和仅推理时该怎样处理。
先分清权重文件保存了什么
以下示例适用于 TensorFlow 2.16+ 默认使用的 Keras 3。权重文件保存各层的可训练与非可训练变量,不保存网络结构、损失函数、指标配置和优化器训练状态;因此加载前必须先创建兼容的模型对象。
| 内容 | .weights.h5 是否包含 |
实际影响 |
|---|---|---|
| Dense/Conv 等层的 kernel、bias | 是 | 可恢复已经学到的参数 |
| BatchNormalization 的 moving mean/variance | 是 | 推理统计量可恢复 |
| 网络结构 | 否 | 必须用代码重新构建 |
| optimizer 状态 | 否 | 继续训练时优化器从新状态开始 |
compile() 的 loss/metrics |
否 | 继续训练前需要重新编译 |
Keras 3 单文件权重路径应使用 .weights.h5 后缀,例如 classifier.weights.h5。大模型还可以使用 max_shard_size 做分片,但普通教学和中小模型先使用单文件最直接。
用相同结构保存并恢复
下面的程序先训练一次模型,再保存权重;随后重新创建同样结构的模型,加载权重并比较预测。Input(shape=(4,)) 会在建模时确定权重形状,因此新模型可直接调用 load_weights()。
import os
import numpy as np
import tensorflow as tf
tf.keras.utils.set_random_seed(7)
def build_model():
return tf.keras.Sequential([
tf.keras.Input(shape=(4,)),
tf.keras.layers.Dense(8, activation="relu"),
tf.keras.layers.Dense(1),
])
# 固定一小批数据,既用于一次训练,也用于恢复后的回归检查。
x = np.array(
[[1.0, 2.0, 3.0, 4.0], [4.0, 3.0, 2.0, 1.0]],
dtype=np.float32,
)
y = np.array([[1.0], [0.0]], dtype=np.float32)
model = build_model()
model.compile(
optimizer=tf.keras.optimizers.Adam(learning_rate=0.01),
loss="mse",
)
model.train_on_batch(x, y)
before = model.predict(x, verbose=0)
# Keras 3 单文件权重使用 .weights.h5 后缀。
weights_path = "classifier.weights.h5"
model.save_weights(weights_path)
# 新对象必须先具有兼容结构,再加载旧参数。
restored = build_model()
restored.load_weights(weights_path)
after = restored.predict(x, verbose=0)
# 权重文件不带 compile 配置,因此继续训练前重新编译。
restored.compile(
optimizer=tf.keras.optimizers.Adam(learning_rate=0.01),
loss="mse",
)
restored.train_on_batch(x, y)
print("weights_file_exists:", os.path.exists(weights_path))
print("predictions_equal:", np.allclose(before, after, atol=1e-6))
print("can_continue_training:", True)预期输出
weights_file_exists: True
predictions_equal: True
can_continue_training: Truepredictions_equal: True 是最直接的恢复校验;实际项目不要只看“文件存在”,还应固定一小批验证输入,比较加载前后的输出是否在容差范围内一致。
恢复训练时注意优化器状态
加载权重后可以继续 fit(),但这不是“从原训练现场精确续跑”。例如原模型的 Adam 已经迭代 20,000 步,权重文件不会带回 Adam 的一阶、二阶动量和迭代计数;新建优化器会从自己的初始状态开始。
可直接采用这条判断规则:只做推理或迁移学习时,权重文件通常足够;只要求从已有参数继续微调时,也可以重新 compile() 后训练;如果需要连同 optimizer 状态、编译配置一起恢复,应保存完整 .keras 模型。
处理结构不匹配
load_weights() 默认按网络拓扑加载,权重数量和形状必须兼容。增加一个无权重的 Dropout 通常不会破坏拓扑权重顺序,但把 Dense(8) 改成 Dense(16) 会改变权重形状,正常加载应报不匹配错误。
| 改动 | 建议 |
|---|---|
仅调整 Dropout 等无权重层 |
加载后仍用固定输入验证预测 |
| 改变 Dense/Conv 的单元数或通道数 | 不要直接加载旧权重 |
| 迁移学习只想复用可匹配层 | 可使用 load_weights(..., skip_mismatch=True),并检查警告 |
| 生产恢复要求完全一致 | 固定模型构建代码版本,并对输入输出做回归校验 |
skip_mismatch=True 会跳过不兼容层,适合有意做迁移学习,不适合用来掩盖线上模型版本错配。恢复后若关键层没有真正加载,程序仍可能继续运行,但预测结果已经不是原模型。