计算机视觉 / 系统课时
执行部署前验证
执行部署前验证
部署前验证的目标不是再“调一次模型”,而是用从未参与训练与调参的测试数据,确认最终权重在精度、推理速度和输入兼容性上都满足上线条件,并把结果固化成可重复的放行证据。
学习目标
- 能正确隔离并使用独立测试集,避免评估数据泄漏
- 能同时记录检测精度、端到端延迟和输入兼容性结果
- 能把测试结果转换成明确的部署放行或阻断条件
固定独立测试集
部署前只对已经冻结的最终候选模型做测试。测试集中的图片不能参与训练,也不应在训练期间反复用于阈值、增强策略或超参数选择,否则测试结果会逐渐失去“未知数据”意义。
建议在项目开始时就固定 train、val、test 三个集合。验证集用于训练阶段选择模型,测试集只在候选模型冻结后执行。若部署场景包含夜间、遮挡、小目标或特殊摄像头,测试集也要覆盖这些真实分布,而不是只追求平均难度。
验证精度与速度
下面的脚本同时完成两件事:先在 test 划分上计算检测指标,再用若干代表性输入测量端到端延迟。将 <PATH> 替换为实际路径;首次推理用于预热,不计入正式延迟。
from pathlib import Path
from statistics import median
from time import perf_counter
import cv2
from ultralytics import YOLO
MODEL_PATH = "<PATH>/best.pt"
DATA_YAML = "<PATH>/dataset.yaml"
SAMPLES = [
"<PATH>/samples/landscape.jpg",
"<PATH>/samples/portrait.png",
"<PATH>/samples/small.jpg",
]
model = YOLO(MODEL_PATH)
# 独立测试集只用于最终评估,不参与本轮参数调整。
metrics = model.val(
data=DATA_YAML,
split="test",
imgsz=640,
batch=16,
device="cpu",
verbose=False,
)
print(f"mAP50-95={metrics.box.map:.4f}")
print(f"mAP50={metrics.box.map50:.4f}")
for sample in SAMPLES:
image = cv2.imread(sample)
if image is None:
raise FileNotFoundError(sample)
model.predict(source=image, imgsz=640, device="cpu", verbose=False)
latencies = []
for _ in range(20):
started = perf_counter()
result = model.predict(source=image, imgsz=640, device="cpu", verbose=False)[0]
latencies.append((perf_counter() - started) * 1000)
print(
f"{Path(sample).name}: "
f"shape={image.shape[1]}x{image.shape[0]}, "
f"detections={len(result.boxes)}, "
f"median_e2e_ms={median(latencies):.1f}"
)预期输出
mAP50-95=<VALUE>
mAP50=<VALUE>
landscape.jpg: shape=<VALUE>x<VALUE>, detections=<VALUE>, median_e2e_ms=<VALUE>
portrait.png: shape=<VALUE>x<VALUE>, detections=<VALUE>, median_e2e_ms=<VALUE>
small.jpg: shape=<VALUE>x<VALUE>, detections=<VALUE>, median_e2e_ms=<VALUE><VALUE> 会随模型、测试集和硬件变化。速度测试必须在计划部署的同类硬件与运行环境中完成;如果线上采用 ONNX、TensorRT 或其他导出格式,还应对实际部署产物重复同样的延迟测试,而不是只测训练框架中的 .pt 权重。
检查输入兼容性
输入兼容性要按“生产接口会收到什么”来设计样本,而不是随机找几张图片。至少检查计划支持的文件格式、横竖比例、最小与最大分辨率、颜色通道,以及损坏文件或空输入时的错误处理。
可以把每类输入记录为一行验收结果:
| 输入类别 | 关注点 | 通过标准 |
|---|---|---|
| JPEG / PNG | 解码与颜色通道 | 能稳定推理且结果结构一致 |
| 横图 / 竖图 | 自动缩放与补边 | 不报错,目标位置无系统性偏移 |
| 小图 / 大图 | resize 与显存占用 | 在资源上限内完成推理 |
| 非法文件 | 异常处理 | 返回可识别错误,不导致服务崩溃 |
若线上还接收视频帧、Base64、批量张量或特定相机像素格式,应使用与服务入口完全一致的预处理代码再测一次。部署前验证的对象是“模型加预处理链路”,而不只是权重文件。
建立放行门槛
在测试前先写清门槛,避免看到结果后临时降低标准。精度可使用项目关心的 mAP50-95、召回率或关键类别指标;速度应使用目标硬件上的中位数或 P95 延迟;兼容性则要求声明支持的输入全部通过。
最终记录至少应包含模型文件、测试集版本、推理参数、硬件环境、精度结果、速度结果和兼容性清单。只有全部门槛通过才进入部署;任何一项失败都应回到数据、模型或推理链路修复,再使用新的独立证据重新验证。