机器学习与深度学习 / 系统课时

导出模型并验证数值一致性

导出模型并验证数值一致性

模型导出不是把文件“另存为”就结束,而是要证明独立推理表示与原模型对同一输入给出足够一致的结果。本节用固定样本把 PyTorch 分类器导出为 ONNX,并同时检查 logits 最大误差和最终类别是否一致。

学习目标

  • 将推理态模型导出为可由独立运行时加载的 ONNX 文件
  • 使用同一固定输入比较导出前后的 logits 数值差异
  • 用类别一致性和误差阈值判断导出结果是否可接受

把导出和验证视为同一个流程

导出验证至少要固定四件事:模型参数、推理模式、输入张量和预处理。只要其中一项不同,logits 的差异就不能直接归因于“导出格式”。因此应先准备一个可重复输入,再让原模型与独立运行时分别计算,最后比较两组结果。

模型导出与一致性验证流程

导出一个可独立推理的 ONNX 模型

下面的示例故意使用固定随机种子和固定输入,使验证可以重复执行。真实项目中,把 TinyClassifier() 替换为已经加载训练权重的模型即可,输入形状和预处理必须与训练阶段保持一致。

python
import numpy as np
import onnxruntime as ort
import torch
from torch import nn

torch.manual_seed(7)

class TinyClassifier(nn.Module):
    def __init__(self):
        super().__init__()
        self.features = nn.Sequential(
            nn.Conv2d(3, 8, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.AdaptiveAvgPool2d((1, 1)),
        )
        self.classifier = nn.Linear(8, 4)

    def forward(self, x):
        x = self.features(x)
        return self.classifier(torch.flatten(x, 1))

model = TinyClassifier().eval()
sample = torch.randn(1, 3, 32, 32)

# 原模型先计算基准输出,导出后仍使用完全相同的 sample。
with torch.no_grad():
    torch_logits = model(sample).cpu().numpy()

torch.onnx.export(
    model,
    sample,
    "classifier.onnx",
    input_names=["images"],
    output_names=["logits"],
    opset_version=18,
)

# 独立运行时只读取导出的 ONNX 文件,不再调用 PyTorch 模型。
session = ort.InferenceSession(
    "classifier.onnx",
    providers=["CPUExecutionProvider"],
)
onnx_logits = session.run(
    ["logits"],
    {"images": sample.cpu().numpy().astype(np.float32)},
)[0]

max_abs_error = float(np.max(np.abs(torch_logits - onnx_logits)))
torch_class = int(np.argmax(torch_logits, axis=1)[0])
onnx_class = int(np.argmax(onnx_logits, axis=1)[0])

print(f"max_abs_error={max_abs_error:.8f}")
print(f"torch_class={torch_class}")
print(f"onnx_class={onnx_class}")
print(f"class_match={torch_class == onnx_class}")

预期输出

text
max_abs_error=<VALUE>
torch_class=<ID>
onnx_class=<ID>
class_match=True

<VALUE> 与 <ID> 会随模型权重和运行环境变化;关键是两个 <ID> 必须相同,并且最大绝对误差要落在项目预先定义的容忍范围内。若运行环境未安装依赖,可先安装 torch、onnx、onnxruntime 和 numpy。

用两层条件判断是否通过

最终类别一致只能说明 argmax 没变,不能证明整个输出向量一致。例如两个模型都把第 2 类排在第一名,但其余类别分数已经明显漂移,后续若增加阈值判断、Top-K 或校准逻辑,就可能产生不同结果。

因此建议同时检查两层条件:第一层比较 logits 的最大绝对误差或平均误差;第二层比较最终类别、Top-K 或业务阈值结果。误差阈值不要照搬固定常数,而应结合精度类型、算子实现和部署硬件,用一组代表性样本先建立基线。

数值不一致时按输入到算子的顺序排查

如果类别不一致,先确认输入尺寸、通道顺序、归一化参数和数据类型,再确认模型是否处于推理态。输入无误后,再定位是否存在运行时不支持或重写的算子、精度转换以及动态形状差异。

验证通过后,应把固定输入、原始 logits、导出模型 logits 和误差阈值一起纳入自动化测试。这样模型结构或导出配置变化时,可以在部署前发现“文件能加载但数值已经漂移”的问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

导出模型并验证数值一致性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通