智能制造与工业软件 / 系统课时
依据验收样本执行上线复测
依据验收样本执行上线复测
视觉检测程序在实验室运行正常,不代表它能直接投入产线。本课使用带有真实判定标签的验收样本,在实际生产节拍下复核漏检、误剔、响应时间和异常恢复能力,并将测试数据整理为可追溯的上线验收记录。
学习目标
- 构建覆盖合格件、典型缺陷、公差边界和异常触发的验收样本集。
- 按产线实际节拍执行复测,正确计算漏检率、误剔率和处理延迟。
- 验证设备故障恢复与 PLC 交握安全性,形成可签字的上线验收报告。
固定验收条件与样本真值
验收必须在接近正式生产的设备配置下进行。开始前冻结相机曝光、光源亮度、镜头位置、检测 ROI、算法版本、PLC 通信配置和剔除机构参数,并记录版本号。验收期间不得临时调整阈值来改善个别样本的结果。
假设某金属零件检测产线的设计节拍为每分钟 120 件,即每件间隔 500 ms。视觉系统需要同时完成表面缺陷识别和尺寸判定,尺寸要求为 50.00±0.10 mm。
准备以下 120 件独立验收样本:
| 样本类别 | 数量 | 样本要求 | 真实判定 |
|---|---|---|---|
| 普通合格件 | 60 | 外观正常,尺寸远离公差边界 | OK |
| 临界合格件 | 20 | 尺寸处于 49.92~49.94 mm 或 50.06~50.08 mm | OK |
| 典型缺陷件 | 16 | 明显划痕、污点或缺口 | NG |
| 细微缺陷件 | 12 | 接近已约定最小检出尺寸的缺陷 | NG |
| 超差边界件 | 12 | 尺寸处于 49.85~49.87 mm 或 50.13~50.15 mm | NG |
| 合计 | 120 | 80 件 OK,40 件 NG | 已确认 |
表中的尺寸范围是教学项目示例,实际使用时必须替换成产品图纸规定的公差和已确认的缺陷标准。
每个样本赋予唯一的 sample_id,提前记录真实类别、尺寸测量值、缺陷位置、缺陷类型和参考照片。真实标签必须由独立检测手段确认,不能直接使用待验收视觉系统的预测值。
例如,对于尺寸边界样本,可以采用经过校准的测量设备进行复核。本案例要求参考测量的扩展不确定度不大于 0.005 mm,避免把真实类别尚不确定的零件拿来计算漏检率。
按现场节拍完成独立复测
首先清空测试计数器,确认相机处于正常采集状态、PLC 已建立通信、剔除机构可用,并将生产模式切换到经现场授权的验收模式。
按以下顺序执行:
- 使用标准合格件检查相机视野、检测 ROI、光源和剔除位置,确认图像与实际工件编号对应。
- 将 120 件样本打乱顺序投入产线,每件执行一次独立检测,避免按 OK、NG 固定顺序投料造成偶然偏差。
- 每次触发时记录 sample_id、触发序号、触发时间、算法判定、PLC 接收时间和实际剔除结果。
- 对预测结果与真实标签不一致的样本保存原始图像和完整日志,不立即删除或重新标记样本。
- 另外执行至少 200 次连续运行循环,观察生产负载下的处理节拍、结果序号和设备稳定性。重复样本的循环数据不计入独立样本的准确率分母。
检测结果不能只看视觉软件界面上的 OK 或 NG,还必须确认 PLC 是否收到对应工件的正确结果,以及剔除机构是否作用于正确的工件。

复测过程建议生成一份逐件 CSV 记录,至少包含以下字段:
| 字段 | 含义 |
|---|---|
| sample_id | 验收样本唯一编号 |
| ground_truth | 独立确认的真实 OK/NG |
| predicted_result | 视觉系统输出的 OK/NG |
| trigger_seq | PLC 本次触发序号 |
| result_seq | 视觉结果对应序号 |
| latency_ms | 触发至 PLC 收到有效结果的时间 |
| reject_actual | 实际剔除结果 |
对于连续运行期间的数据,还应保存周期号、超时标记、设备故障代码和 PLC 确认信息。原始日志不要只保留汇总结果,否则无法追溯漏检和误剔对应的工件。
用原始记录计算验收指标
现场验收应先约定通过门槛,再执行测试。不能看到结果后再修改验收标准。
以下是本案例的示例门槛,实际项目须由质量、工艺和设备负责人共同确认:
| 指标 | 本案例通过条件 |
|---|---|
| 缺陷漏检 | 40 件 NG 样本中 0 件漏检 |
| 合格件误剔 | 80 件 OK 样本中最多 1 件误剔 |
| 处理延迟 P99 | 不超过 350 ms |
| 单次最大处理延迟 | 不超过 450 ms |
| 结果序号错误 | 0 次 |
| 有效结果丢失 | 0 次 |
| 实际剔除动作 | 与 PLC 判定及工件编号全部对应 |
其中,漏检是指真实 NG 被判成 OK;误剔是指真实 OK 被判成 NG。两个指标的分母不同,不能直接除以全部 120 件样本。
计算公式如下:
这里 TP 表示正确检出的 NG,FN 表示漏检的 NG,TN 表示正确放行的 OK,FP 表示误剔的 OK。
下面使用 Python 3 标准库演示统计逻辑。为了能够直接运行,示例构造了 120 条模拟记录;正式验收必须替换为现场采集的真实记录,不得将模拟结果作为签收证据。
from math import ceil
# 记录格式为(真实标签,视觉判定,PLC有效结果延迟ms)
# 仅用于验证统计逻辑,不能代替现场测试数据
records = (
[('NG', 'NG', 300)] * 40
+ [('OK', 'NG', 315)]
+ [('OK', 'OK', 320)] * 79
)
fn = sum(1 for gt, pred, _ in records if gt == 'NG' and pred == 'OK')
fp = sum(1 for gt, pred, _ in records if gt == 'OK' and pred == 'NG')
ng_count = sum(gt == 'NG' for gt, _, _ in records)
ok_count = len(records) - ng_count
# P99使用最近秩定义,不使用平均值替代尾部延迟
times = sorted(ms for _, _, ms in records)
p99 = times[ceil(len(times) * 0.99) - 1]
maximum = max(times)
passed = fn == 0 and fp <= 1 and p99 <= 350 and maximum <= 450
print(f'漏检率: {fn}/{ng_count} = {fn/ng_count:.2%}')
print(f'误剔率: {fp}/{ok_count} = {fp/ok_count:.2%}')
print(f'P99: {p99} ms,最大: {maximum} ms')
print('准确性和节拍:', '通过' if passed else '不通过')预期输出:
漏检率: 0/40 = 0.00%
误剔率: 1/80 = 1.25%
P99: 320 ms,最大: 320 ms
准确性和节拍: 通过这个结果只说明模拟数据满足准确性和节拍门槛,尚不能代表整套设备通过验收。正式统计时应从实际触发与 PLC 接收时间戳计算延迟,并分别核算独立样本的判定准确率和连续运行期间的节拍表现。
特别注意,40 件缺陷样本中没有漏检,并不意味着真实生产的漏检概率为零。如果合同要求验证千分之一甚至更低的漏检概率,就必须另外设计具有足够样本量和统计置信水平的可靠性试验。
验证异常恢复并签署上线记录
正常样本通过后,还需要模拟触发异常、通信异常和设备恢复。所有故障注入必须在设备授权的维护或验收模式下进行,遵守安全联锁要求,不得在有人接近执行机构时随意断电或屏蔽安全保护。
本案例另外设置 6 项异常测试,不计入前述 120 件独立样本:
| 异常场景 | 注入方式 | 通过标准 |
|---|---|---|
| 触发信号丢失 | 在测试模式中抑制一次触发 | 不产生伪造的有效检测结果 |
| 重复触发 | 注入相同触发序号 | 不重复放行或重复剔除 |
| 检测结果超时 | 人为延迟测试响应超过 450 ms | PLC 拒绝超时结果并进入约定的安全处理 |
| 结果序号错配 | 回传上一件工件的测试结果 | PLC 拒绝旧序号,不将结果绑定到新工件 |
| 相机断开 | 在安全停机条件下中断相机连接 | 输出设备故障,不把无图像当作 OK |
| 控制器重新启动 | 模拟控制器重启并恢复通信 | 清理旧任务,重新同步序号后才允许恢复运行 |
异常出现时,必须记录从故障发生到 PLC 确认故障的时间、是否发生错误放行,以及恢复到可正常处理下一件工件所需的时间。
本案例约定:不存在错误放行,故障状态能够正确上报,并在故障解除且设备重新就绪后 5 秒内完成通信与任务状态恢复。这个 5 秒是示例验收门槛,不代表任何设备的通用恢复要求。需要人工复位的安全故障,应按设备安全规程处理,不允许为了满足时间指标自动解除安全联锁。
完成测试后,按照以下内容生成上线验收记录:
- 设备与版本:相机型号及序列号、镜头、光源、视觉程序版本、PLC 程序版本和关键参数快照。
- 样本与真值:120 件样本清单、缺陷照片、参考测量记录、分类依据和样本编号。
- 实际结果:TP、FN、TN、FP 数量,漏检率、误剔率、P99、最大延迟及物理剔除一致性。
- 异常测试:6 项故障注入记录、报警响应、旧结果拦截、恢复耗时和安全处理证据。
- 问题闭环:失败样本编号、故障原因、修改内容、修改前后版本以及重新测试结果。
- 签字确认:验收日期、产线编号、测试人员、设备负责人、质量负责人和上线结论。
如果发生漏检,应先核实真实标签,再检查原始图像、曝光、定位、算法阈值和触发序号。若必须修改程序或参数,应建立新版本,重新执行受影响项目及其相关回归测试;涉及核心识别逻辑或采集条件变更时,应重新执行完整的 120 件独立样本验收。不能只拿修复过的失败样本再次通过就宣布整批合格。
最终只有在准确性、连续运行节拍、PLC 交握、实际剔除和异常恢复全部满足预先约定的标准,而且原始证据完整可追溯时,才允许签署上线通过。未通过的项目必须保留问题记录和复测结果,不能用口头确认替代验收证据。