计算机视觉 / 系统课时

执行部署前验证

执行部署前验证

部署前验证的目标不是再“调一次模型”,而是用从未参与训练与调参的测试数据,确认最终权重在精度、推理速度和输入兼容性上都满足上线条件,并把结果固化成可重复的放行证据。

学习目标

  • 能正确隔离并使用独立测试集,避免评估数据泄漏
  • 能同时记录检测精度、端到端延迟和输入兼容性结果
  • 能把测试结果转换成明确的部署放行或阻断条件

固定独立测试集

部署前只对已经冻结的最终候选模型做测试。测试集中的图片不能参与训练,也不应在训练期间反复用于阈值、增强策略或超参数选择,否则测试结果会逐渐失去“未知数据”意义。

建议在项目开始时就固定 train、val、test 三个集合。验证集用于训练阶段选择模型,测试集只在候选模型冻结后执行。若部署场景包含夜间、遮挡、小目标或特殊摄像头,测试集也要覆盖这些真实分布,而不是只追求平均难度。

验证精度与速度

下面的脚本同时完成两件事:先在 test 划分上计算检测指标,再用若干代表性输入测量端到端延迟。将 <PATH> 替换为实际路径;首次推理用于预热,不计入正式延迟。

python
from pathlib import Path
from statistics import median
from time import perf_counter

import cv2
from ultralytics import YOLO

MODEL_PATH = "<PATH>/best.pt"
DATA_YAML = "<PATH>/dataset.yaml"
SAMPLES = [
    "<PATH>/samples/landscape.jpg",
    "<PATH>/samples/portrait.png",
    "<PATH>/samples/small.jpg",
]

model = YOLO(MODEL_PATH)

# 独立测试集只用于最终评估,不参与本轮参数调整。
metrics = model.val(
    data=DATA_YAML,
    split="test",
    imgsz=640,
    batch=16,
    device="cpu",
    verbose=False,
)
print(f"mAP50-95={metrics.box.map:.4f}")
print(f"mAP50={metrics.box.map50:.4f}")

for sample in SAMPLES:
    image = cv2.imread(sample)
    if image is None:
        raise FileNotFoundError(sample)

    model.predict(source=image, imgsz=640, device="cpu", verbose=False)

    latencies = []
    for _ in range(20):
        started = perf_counter()
        result = model.predict(source=image, imgsz=640, device="cpu", verbose=False)[0]
        latencies.append((perf_counter() - started) * 1000)

    print(
        f"{Path(sample).name}: "
        f"shape={image.shape[1]}x{image.shape[0]}, "
        f"detections={len(result.boxes)}, "
        f"median_e2e_ms={median(latencies):.1f}"
    )

预期输出

text
mAP50-95=<VALUE>
mAP50=<VALUE>
landscape.jpg: shape=<VALUE>x<VALUE>, detections=<VALUE>, median_e2e_ms=<VALUE>
portrait.png: shape=<VALUE>x<VALUE>, detections=<VALUE>, median_e2e_ms=<VALUE>
small.jpg: shape=<VALUE>x<VALUE>, detections=<VALUE>, median_e2e_ms=<VALUE>

<VALUE> 会随模型、测试集和硬件变化。速度测试必须在计划部署的同类硬件与运行环境中完成;如果线上采用 ONNX、TensorRT 或其他导出格式,还应对实际部署产物重复同样的延迟测试,而不是只测训练框架中的 .pt 权重。

检查输入兼容性

输入兼容性要按“生产接口会收到什么”来设计样本,而不是随机找几张图片。至少检查计划支持的文件格式、横竖比例、最小与最大分辨率、颜色通道,以及损坏文件或空输入时的错误处理。

可以把每类输入记录为一行验收结果:

输入类别 关注点 通过标准
JPEG / PNG 解码与颜色通道 能稳定推理且结果结构一致
横图 / 竖图 自动缩放与补边 不报错,目标位置无系统性偏移
小图 / 大图 resize 与显存占用 在资源上限内完成推理
非法文件 异常处理 返回可识别错误,不导致服务崩溃

若线上还接收视频帧、Base64、批量张量或特定相机像素格式,应使用与服务入口完全一致的预处理代码再测一次。部署前验证的对象是“模型加预处理链路”,而不只是权重文件。

建立放行门槛

在测试前先写清门槛,避免看到结果后临时降低标准。精度可使用项目关心的 mAP50-95、召回率或关键类别指标;速度应使用目标硬件上的中位数或 P95 延迟;兼容性则要求声明支持的输入全部通过。

最终记录至少应包含模型文件、测试集版本、推理参数、硬件环境、精度结果、速度结果和兼容性清单。只有全部门槛通过才进入部署;任何一项失败都应回到数据、模型或推理链路修复,再使用新的独立证据重新验证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行部署前验证

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通