智能制造与工业软件 / 系统课时

依据验收样本执行上线复测

依据验收样本执行上线复测

视觉检测程序在实验室运行正常,不代表它能直接投入产线。本课使用带有真实判定标签的验收样本,在实际生产节拍下复核漏检、误剔、响应时间和异常恢复能力,并将测试数据整理为可追溯的上线验收记录。

学习目标

  • 构建覆盖合格件、典型缺陷、公差边界和异常触发的验收样本集。
  • 按产线实际节拍执行复测,正确计算漏检率、误剔率和处理延迟。
  • 验证设备故障恢复与 PLC 交握安全性,形成可签字的上线验收报告。

固定验收条件与样本真值

验收必须在接近正式生产的设备配置下进行。开始前冻结相机曝光、光源亮度、镜头位置、检测 ROI、算法版本、PLC 通信配置和剔除机构参数,并记录版本号。验收期间不得临时调整阈值来改善个别样本的结果。

假设某金属零件检测产线的设计节拍为每分钟 120 件,即每件间隔 500 ms。视觉系统需要同时完成表面缺陷识别和尺寸判定,尺寸要求为 50.00±0.10 mm。

准备以下 120 件独立验收样本:

样本类别 数量 样本要求 真实判定
普通合格件 60 外观正常,尺寸远离公差边界 OK
临界合格件 20 尺寸处于 49.92~49.94 mm 或 50.06~50.08 mm OK
典型缺陷件 16 明显划痕、污点或缺口 NG
细微缺陷件 12 接近已约定最小检出尺寸的缺陷 NG
超差边界件 12 尺寸处于 49.85~49.87 mm 或 50.13~50.15 mm NG
合计 120 80 件 OK,40 件 NG 已确认

表中的尺寸范围是教学项目示例,实际使用时必须替换成产品图纸规定的公差和已确认的缺陷标准。

每个样本赋予唯一的 sample_id,提前记录真实类别、尺寸测量值、缺陷位置、缺陷类型和参考照片。真实标签必须由独立检测手段确认,不能直接使用待验收视觉系统的预测值。

例如,对于尺寸边界样本,可以采用经过校准的测量设备进行复核。本案例要求参考测量的扩展不确定度不大于 0.005 mm,避免把真实类别尚不确定的零件拿来计算漏检率。

按现场节拍完成独立复测

首先清空测试计数器,确认相机处于正常采集状态、PLC 已建立通信、剔除机构可用,并将生产模式切换到经现场授权的验收模式。

按以下顺序执行:

  1. 使用标准合格件检查相机视野、检测 ROI、光源和剔除位置,确认图像与实际工件编号对应。
  2. 将 120 件样本打乱顺序投入产线,每件执行一次独立检测,避免按 OK、NG 固定顺序投料造成偶然偏差。
  3. 每次触发时记录 sample_id、触发序号、触发时间、算法判定、PLC 接收时间和实际剔除结果。
  4. 对预测结果与真实标签不一致的样本保存原始图像和完整日志,不立即删除或重新标记样本。
  5. 另外执行至少 200 次连续运行循环,观察生产负载下的处理节拍、结果序号和设备稳定性。重复样本的循环数据不计入独立样本的准确率分母。

检测结果不能只看视觉软件界面上的 OK 或 NG,还必须确认 PLC 是否收到对应工件的正确结果,以及剔除机构是否作用于正确的工件。

工业机器视觉上线验收的样本复测与放行判定流程

复测过程建议生成一份逐件 CSV 记录,至少包含以下字段:

字段 含义
sample_id 验收样本唯一编号
ground_truth 独立确认的真实 OK/NG
predicted_result 视觉系统输出的 OK/NG
trigger_seq PLC 本次触发序号
result_seq 视觉结果对应序号
latency_ms 触发至 PLC 收到有效结果的时间
reject_actual 实际剔除结果

对于连续运行期间的数据,还应保存周期号、超时标记、设备故障代码和 PLC 确认信息。原始日志不要只保留汇总结果,否则无法追溯漏检和误剔对应的工件。

用原始记录计算验收指标

现场验收应先约定通过门槛,再执行测试。不能看到结果后再修改验收标准。

以下是本案例的示例门槛,实际项目须由质量、工艺和设备负责人共同确认:

指标 本案例通过条件
缺陷漏检 40 件 NG 样本中 0 件漏检
合格件误剔 80 件 OK 样本中最多 1 件误剔
处理延迟 P99 不超过 350 ms
单次最大处理延迟 不超过 450 ms
结果序号错误 0 次
有效结果丢失 0 次
实际剔除动作 与 PLC 判定及工件编号全部对应

其中,漏检是指真实 NG 被判成 OK;误剔是指真实 OK 被判成 NG。两个指标的分母不同,不能直接除以全部 120 件样本。

计算公式如下:

漏检率=FNTP+FN×100%漏检率=\frac{FN}{TP+FN}\times100\%
误剔率=FPTN+FP×100%误剔率=\frac{FP}{TN+FP}\times100\%

这里 TP 表示正确检出的 NG,FN 表示漏检的 NG,TN 表示正确放行的 OK,FP 表示误剔的 OK。

下面使用 Python 3 标准库演示统计逻辑。为了能够直接运行,示例构造了 120 条模拟记录;正式验收必须替换为现场采集的真实记录,不得将模拟结果作为签收证据。

python
from math import ceil

# 记录格式为(真实标签,视觉判定,PLC有效结果延迟ms)
# 仅用于验证统计逻辑,不能代替现场测试数据
records = (
    [('NG', 'NG', 300)] * 40
    + [('OK', 'NG', 315)]
    + [('OK', 'OK', 320)] * 79
)

fn = sum(1 for gt, pred, _ in records if gt == 'NG' and pred == 'OK')
fp = sum(1 for gt, pred, _ in records if gt == 'OK' and pred == 'NG')
ng_count = sum(gt == 'NG' for gt, _, _ in records)
ok_count = len(records) - ng_count

# P99使用最近秩定义,不使用平均值替代尾部延迟
times = sorted(ms for _, _, ms in records)
p99 = times[ceil(len(times) * 0.99) - 1]
maximum = max(times)

passed = fn == 0 and fp <= 1 and p99 <= 350 and maximum <= 450
print(f'漏检率: {fn}/{ng_count} = {fn/ng_count:.2%}')
print(f'误剔率: {fp}/{ok_count} = {fp/ok_count:.2%}')
print(f'P99: {p99} ms,最大: {maximum} ms')
print('准确性和节拍:', '通过' if passed else '不通过')

预期输出:

text
漏检率: 0/40 = 0.00%
误剔率: 1/80 = 1.25%
P99: 320 ms,最大: 320 ms
准确性和节拍: 通过

这个结果只说明模拟数据满足准确性和节拍门槛,尚不能代表整套设备通过验收。正式统计时应从实际触发与 PLC 接收时间戳计算延迟,并分别核算独立样本的判定准确率和连续运行期间的节拍表现。

特别注意,40 件缺陷样本中没有漏检,并不意味着真实生产的漏检概率为零。如果合同要求验证千分之一甚至更低的漏检概率,就必须另外设计具有足够样本量和统计置信水平的可靠性试验。

验证异常恢复并签署上线记录

正常样本通过后,还需要模拟触发异常、通信异常和设备恢复。所有故障注入必须在设备授权的维护或验收模式下进行,遵守安全联锁要求,不得在有人接近执行机构时随意断电或屏蔽安全保护。

本案例另外设置 6 项异常测试,不计入前述 120 件独立样本:

异常场景 注入方式 通过标准
触发信号丢失 在测试模式中抑制一次触发 不产生伪造的有效检测结果
重复触发 注入相同触发序号 不重复放行或重复剔除
检测结果超时 人为延迟测试响应超过 450 ms PLC 拒绝超时结果并进入约定的安全处理
结果序号错配 回传上一件工件的测试结果 PLC 拒绝旧序号,不将结果绑定到新工件
相机断开 在安全停机条件下中断相机连接 输出设备故障,不把无图像当作 OK
控制器重新启动 模拟控制器重启并恢复通信 清理旧任务,重新同步序号后才允许恢复运行

异常出现时,必须记录从故障发生到 PLC 确认故障的时间、是否发生错误放行,以及恢复到可正常处理下一件工件所需的时间。

本案例约定:不存在错误放行,故障状态能够正确上报,并在故障解除且设备重新就绪后 5 秒内完成通信与任务状态恢复。这个 5 秒是示例验收门槛,不代表任何设备的通用恢复要求。需要人工复位的安全故障,应按设备安全规程处理,不允许为了满足时间指标自动解除安全联锁。

完成测试后,按照以下内容生成上线验收记录:

  1. 设备与版本:相机型号及序列号、镜头、光源、视觉程序版本、PLC 程序版本和关键参数快照。
  2. 样本与真值:120 件样本清单、缺陷照片、参考测量记录、分类依据和样本编号。
  3. 实际结果:TP、FN、TN、FP 数量,漏检率、误剔率、P99、最大延迟及物理剔除一致性。
  4. 异常测试:6 项故障注入记录、报警响应、旧结果拦截、恢复耗时和安全处理证据。
  5. 问题闭环:失败样本编号、故障原因、修改内容、修改前后版本以及重新测试结果。
  6. 签字确认:验收日期、产线编号、测试人员、设备负责人、质量负责人和上线结论。

如果发生漏检,应先核实真实标签,再检查原始图像、曝光、定位、算法阈值和触发序号。若必须修改程序或参数,应建立新版本,重新执行受影响项目及其相关回归测试;涉及核心识别逻辑或采集条件变更时,应重新执行完整的 120 件独立样本验收。不能只拿修复过的失败样本再次通过就宣布整批合格。

最终只有在准确性、连续运行节拍、PLC 交握、实际剔除和异常恢复全部满足预先约定的标准,而且原始证据完整可追溯时,才允许签署上线通过。未通过的项目必须保留问题记录和复测结果,不能用口头确认替代验收证据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

依据验收样本执行上线复测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通