智能制造与工业软件 / 系统课时
用检测日志定位误判和丢帧
用检测日志定位误判和丢帧
产线出现漏检、误剔除或工件经过相机却没有检测结果时,需要把触发、采图、算法判定和 PLC 确认串成同一条记录。本课建立可关联的检测日志,使用脚本找出异常工件,并根据时间线判断问题发生在哪个环节。
学习目标
- 设计包含工件编号、触发序号、帧号、检测结果和 PLC 回执的结构化日志。
- 使用 Python 关联检测事件,定位无图像、检测超时、误判和回执缺失。
- 根据日志、原始图像与设备计数器区分成像问题、算法问题和控制时序异常。
建立可追踪的检测日志
一件工件至少经过四个关键事件:PLC 触发、相机采图、视觉算法输出结果、PLC 确认接收。日志必须使用统一关联键,不能只靠日志出现的先后顺序匹配工件。
建议使用 piece_id 表示工件编号,seq 表示一次检测事务的触发序号。正常情况下,同一检测事务的所有事件共享这两个字段。如果产线存在重检,还应分配新的事务序号,避免覆盖前一次结果。
| 字段 | 示例 | 用途 |
|---|---|---|
| piece_id | P102 | 关联实体工件 |
| seq | 102 | 匹配一次触发事务 |
| event | trigger/frame/result/ack | 标识处理阶段 |
| t_ms | 2053 | 记录统一时间基准下的事件时刻 |
| frame_no | 5002 | 追踪相机帧序号 |
| image_path | frames/P102.png | 定位留存的原始图像 |
| model_version | v1.4 | 追踪算法版本 |
| decision | OK/NG | 最终检测判定 |
| score | 0.93 | 记录模型输出分数 |
| infer_ms | 24 | 算法处理耗时 |
事件时间建议由同一视觉工控机或采集网关使用单调时钟记录。相机硬件时间戳、PLC 时钟和工控机系统时钟不能未经同步就直接相减。生产日志另行记录墙上时间,供跨设备查询和人工检索。
对于模型误判,还应记录检测阈值、ROI、曝光时间、增益及配方版本。score 必须明确表示哪个类别的分数,避免把正常置信度误当成缺陷置信度。保存原始图像时,要关联不可变的文件路径,防止后续覆盖。
从事件时间线识别异常位置
以触发时刻为零点,假设产线约定触发至判定的最大耗时为 120 ms,视觉结果发出后 PLC 确认最大等待时间为 100 ms。这两个数值是教学案例参数,实际应依据输送速度、剔除机构距离和 PLC 扫描周期确定。

读取日志时,按以下顺序缩小范围:
- 有触发、无采图事件:检查触发信号、相机曝光、图像传输及采集队列。
- 有采图、无检测结果:检查图像预处理、推理队列、异常日志和线程阻塞。
- 有结果但超过检测时限:比较采集、排队、推理及输出耗时。
- 有结果、无 PLC 确认:检查 VALID 信号或通信报文、PLC 接收逻辑及 ACK 回传。
- 交握完整但判定错误:回查原始图像、模型版本、阈值和人工复核标签。
使用 Python 自动关联检测事件
下面模拟四件工件的现场日志,分别包含正常、判定不一致、触发后无图像以及 PLC 确认缺失。日志格式使用 JSON,便于后续接入日志平台或通过 Python 分析。
创建 events.json:
[
{"seq":101,"piece_id":"P101","event":"trigger","t_ms":1000},
{"seq":101,"piece_id":"P101","event":"frame","t_ms":1017,"frame_no":5001,"image_path":"frames/P101.png"},
{"seq":101,"piece_id":"P101","event":"result","t_ms":1052,"model_version":"v1.4","decision":"OK","verified":"OK","infer_ms":24},
{"seq":101,"piece_id":"P101","event":"ack","t_ms":1070},
{"seq":102,"piece_id":"P102","event":"trigger","t_ms":2000},
{"seq":102,"piece_id":"P102","event":"frame","t_ms":2019,"frame_no":5002,"image_path":"frames/P102.png","mean_gray":245},
{"seq":102,"piece_id":"P102","event":"result","t_ms":2053,"model_version":"v1.4","decision":"NG","verified":"OK","infer_ms":24},
{"seq":102,"piece_id":"P102","event":"ack","t_ms":2070},
{"seq":103,"piece_id":"P103","event":"trigger","t_ms":3000},
{"seq":104,"piece_id":"P104","event":"trigger","t_ms":4000},
{"seq":104,"piece_id":"P104","event":"frame","t_ms":4016,"frame_no":5004,"image_path":"frames/P104.png"},
{"seq":104,"piece_id":"P104","event":"result","t_ms":4050,"model_version":"v1.4","decision":"OK","verified":"OK","infer_ms":25}
]其中 verified 是人工或可靠基准复核后补充的真实标签,并非模型自身产生。mean_gray 是示例图像的平均灰度值,只能作为曝光异常线索,不能单独证明发生反光。
创建 analyze.py,使用 Python 3 标准库执行关联检查。示例约定每次触发只产生一个有效帧和一份最终结果,且所有 t_ms 来自相同的单调时间基准。
import json
from collections import defaultdict
with open("events.json", encoding="utf-8") as f:
events = json.load(f)
# 按事务关联,避免相邻工件的事件互相串号
groups = defaultdict(dict)
for item in events:
key = (item["seq"], item["piece_id"])
event_type = item["event"]
if event_type in groups[key]:
raise ValueError(f"重复事件: {key} {event_type}")
groups[key][event_type] = item
# 模拟采集结束时刻;所有事务已经经过超时观察窗口
now_ms = 5000
result_limit_ms = 120
ack_limit_ms = 100
for (seq, piece_id), group in sorted(groups.items()):
trigger = group.get("trigger")
frame = group.get("frame")
result = group.get("result")
ack = group.get("ack")
if trigger is None:
status = "缺少触发日志"
elif frame is None:
status = ("触发后无图像" if now_ms - trigger["t_ms"]
> result_limit_ms else "等待图像")
elif result is None:
status = ("采图后无结果" if now_ms - trigger["t_ms"]
> result_limit_ms else "等待结果")
elif result["t_ms"] - trigger["t_ms"] > result_limit_ms:
status = "检测超时"
elif ack is None:
status = ("PLC确认超时" if now_ms - result["t_ms"]
> ack_limit_ms else "等待PLC确认")
elif (result.get("verified") in ("OK", "NG")
and result["verified"] != result["decision"]):
status = "判定与复核不符"
else:
status = "正常"
print(f"{seq} {piece_id} {status}")在两个文件所在目录运行 python analyze.py。预期输出:
101 P101 正常
102 P102 判定与复核不符
103 P103 触发后无图像
104 P104 PLC确认超时P103 的异常首先指向采集链,P104 指向结果交握或回执记录。P102 虽然完成了交握,但检测结果与复核结果不一致,需要结合图像判断是成像不良还是算法判定错误。
这个脚本适合离线分析已结束的检测事务。生产环境应增加事件去重、迟到日志处理和事务最终状态,并按照约定的超时窗口定期扫描,不能仅因日志文件暂时没有后续事件就认定超时。
按证据区分误判与丢帧
定位异常事务后,应检查对应原始图像和设备计数器,不能只看到 NG 就认为算法出了问题。
| 现场证据 | 更可能的方向 | 下一步检查 |
|---|---|---|
| 图像整体过亮、细节丢失 | 曝光或照明异常 | 曝光、增益、反光位置 |
| 图像清晰但缺陷分类错误 | 模型或阈值问题 | 分数、阈值、版本、标注 |
| PLC 触发计数增长,相机触发计数不变 | 触发链路异常 | 接线、电平、脉宽、触发配置 |
| 相机采集计数增长,应用未收到对应帧 | 传输或采集队列异常 | 驱动统计、丢包、缓冲区 |
| 已生成结果但无 ACK | 控制交握异常 | PLC 程序、超时、通信状态 |
以 P102 为例,人工确认工件实际合格,但算法输出 NG。日志中 mean_gray=245,接近 8 位灰度图像的最大值 255,提示可能存在过曝或大面积亮背景。需要打开 frames/P102.png,查看缺陷 ROI 是否饱和,再与同批正常样本比较。
如果原始图像已经失去缺陷细节,应先调整光源、曝光或相机角度,再重复采样。如果图像质量正常,则固定输入图像,检查 v1.4 模型的原始输出、阈值和后处理规则,必要时使用已标注样本回归测试。
对于 P103,进一步比较三个计数值:PLC 触发次数、相机实际采集次数和应用接收帧次数。例如同一统计窗口内分别为 1000、1000、998,说明有两次采集未在应用接收计数中体现,但仍需结合帧序号、队列溢出及驱动统计确定原因。
将日志检查纳入现场验收
验收时先确认日志覆盖全部检测事务,再统计异常数量。下面是一组演示性验收指标,具体合格线必须在项目验收方案中约定。
| 指标 | 示例验收条件 |
|---|---|
| 连续检测数量 | 1000 件 |
| 无关联触发事务 | 0 件 |
| 无图像事务 | 0 件 |
| 检测耗时超 120 ms | 0 件 |
| PLC 确认超 100 ms | 0 件 |
| 判定与复核不一致 | 0 件 |
现场执行时,先核对工件计数与事务数量,再抽查异常图像、原始日志和 PLC 状态。如果存在超时,需要记录最大耗时与发生时的设备负载,而不是只看平均推理时间。
还应主动制造可恢复的异常进行验证,例如在安全停机或测试模式下断开触发链路、模拟算法延迟和屏蔽 ACK 输入,检查系统是否按设计报警、停止放行或将工件送入待复检通道。恢复连接后,再验证下一件工件不会错误继承上一件的检测结果。
最终留档应包含日志文件、相机及 PLC 计数器、算法与配方版本、异常样本和复测结果。只有事件可以完整关联、异常能定位到具体环节、控制系统能安全处理超时,检测日志才真正具备现场追溯价值。