智能制造与工业软件 / 系统课时
诊断丢帧与采集缓冲区积压
诊断丢帧与采集缓冲区积压
相机画面偶尔卡住、帧号跳变或检测结果明显滞后,可能分别来自触发异常、传输失败、缓冲耗尽或算法处理过慢。本课把帧编号、采集时间与主机队列指标放在同一条证据链上,定位问题并为在线检测选定处理策略。
学习目标
- 根据帧号和时间戳区分跳号、重复交付与旧帧积压。
- 分别检查传输层缓冲、应用队列和处理耗时,缩小故障范围。
- 按逐件剔废与实时预览的不同要求设置缓存和超时策略。
区分采集缓冲与应用积压
工业相机从曝光到出具判定,通常经过相机内部缓存、GigE Vision 或 USB3 Vision 传输、GenTL Producer 的采集缓冲、应用程序队列和图像算法。相机已曝光不代表应用已收到完整帧;应用收到完整帧也不代表算法处理的是最新画面。

排查时先确认帧号的来源。相机提供的 FrameID 或帧计数 Chunk 可用于寻找未交付的编号;应用自己累加的“读取次数”无法证明相机中途少了一帧。序号回绕、重新开始采集以及某些触发模式也会造成跳变,不能仅凭跳号断定网线丢包。
记录同一帧的关键证据
采集线程每拿到一帧就写一条结构化日志,不要等算法完成后才记录接收时刻。建议至少保留以下字段;示例代码将时间统一换算为毫秒。
| 字段 | 记录时机与用途 |
|---|---|
trigger_id、frame_id |
PLC触发流水号与相机原始帧号;核对逐件对应关系 |
camera_ts |
帧附带的设备时间戳;判断相邻采集间隔 |
host_rx |
完整帧进入应用队列时的主机单调时钟 |
host_take、queue_depth |
算法取出帧的时刻与取出后剩余待处理帧数 |
process_ms |
从开始处理到判定完成的耗时 |
buffer_status |
成功、图像不完整或采集超时;同时采样驱动统计计数 |
用同一台主机的单调时钟计算 host_take - host_rx,得到应用排队等待时间。设备时间戳只能先用来比较相邻帧间隔;没有时钟同步与明确的时间戳定义时,不可直接用主机时间减相机时间冒充端到端延迟。
以 Harvester 1.4.2 为例,后台采集模式 ImageAcquirer.start(run_as_thread=True) 下可观察 num_holding_filled_buffers;num_buffers 是准备交给 GenTL Producer 的缓冲数量,不是自行创建的 queue.Queue 长度。Buffer.timestamp_ns 以纳秒提供时间戳,但其具体时钟来源仍需核对 Producer。取帧后应及时归还缓冲;with ia.fetch(timeout=1) 会在退出作用域时归还,若后续算法要继续使用像素,应先复制数据。接口见 Harvester API 1.4.2。
用帧日志重放异常
以下 Python 3 示例不依赖相机 SDK,使用五条模拟日志复现 25 fps 采集时出现的一次跳号、一次重复处理与队列积压。实际接入时,将记录项换成设备元数据和主机埋点;其中 q 是应用队列在取出当前帧后剩余的帧数。
# 字段:帧号、设备时间、主机入队时间、主机出队时间、剩余队列数、处理耗时(毫秒)
samples = [
(100, 0, 1000, 1002, 0, 30),
(101, 40, 1040, 1050, 1, 48),
(103, 120, 1120, 1190, 3, 65),
(103, 120, 1120, 1260, 4, 65),
(104, 160, 1160, 1330, 5, 60),
]
previous_id = previous_cam_ms = None
lost_ids = duplicates = 0
for frame_id, cam_ms, queued_ms, taken_ms, depth, processing_ms in samples:
# 原始帧号回绕或重置需要另外核实,不能算作丢帧
if previous_id is None:
state = "start"
elif frame_id == previous_id:
state = "duplicate"
duplicates += 1
elif frame_id < previous_id:
state = "wrap_or_reset"
elif frame_id > previous_id + 1:
count = frame_id - previous_id - 1
lost_ids += count
state = f"gap:{count}"
else:
state = "ok"
cam_delta = "-" if previous_cam_ms is None else f"{cam_ms - previous_cam_ms}ms"
# 排队时间只使用同一主机时钟的两个采样点
print(f"id={frame_id} state={state} cam_dt={cam_delta} "
f"wait={taken_ms - queued_ms}ms q={depth} work={processing_ms}ms")
previous_id, previous_cam_ms = frame_id, cam_ms
print(f"missing_ids={lost_ids} duplicates={duplicates} "
f"max_queue={max(item[4] for item in samples)}")预期输出:
id=100 state=start cam_dt=- wait=2ms q=0 work=30ms
id=101 state=ok cam_dt=40ms wait=10ms q=1 work=48ms
id=103 state=gap:1 cam_dt=80ms wait=70ms q=3 work=65ms
id=103 state=duplicate cam_dt=0ms wait=140ms q=4 work=65ms
id=104 state=ok cam_dt=40ms wait=170ms q=5 work=60ms
missing_ids=1 duplicates=1 max_queue=5帧号 102 未出现在交付记录中,但仍需核查是相机未采集、传输不完整、驱动弃帧还是应用丢弃。第二条 103 的设备时间戳未变化,提示相同采集结果可能被重复入队或重复处理。等待从 2 ms 增至 170 ms、队列从 0 增至 5,同时处理耗时多次超过 40 ms 的帧周期,说明存在持续积压。
按计数器和耗时追根因
建议先关闭耗时的缺陷检测,仅采集、归还缓冲和计数;再开启完整算法,对比相同帧率下的变化。GigE Vision 相机还应同时观察网卡丢包与驱动统计,避免只通过应用日志推断网络状态。
| 观测组合 | 优先核查与修复 |
|---|---|
| 不完整缓冲增加、重发请求增加 | 网线、交换机、网卡负载及报文尺寸;先以标准 MTU 验证,再在整条链路均支持时启用巨帧,必要时增加帧间报文间隔 |
| 无可用采集缓冲的计数增加 | 是否长时间持有取出的 Buffer、遗漏归还、采集缓冲数量过少 |
| 传输错误为零,但应用队列持续增长 | 算法、图像拷贝、保存或 UI 更新过慢;测 process_ms 的 P95/P99 并隔离处理线程 |
| 帧号和设备时间戳同时重复 | 排查重复入队、复用已归还的缓冲、重复发布旧检测结果 |
| 触发数多于有效采集帧数 | 先核对相机触发模式、曝光占用时间与设备侧丢帧事件,再查传输 |
例如 Basler pylon 的 Statistic_Failed_Buffer_Count 记录不完整缓冲,Statistic_Buffer_Underrun_Count 记录因无空闲输入缓冲而丢失的帧,Statistic_Missed_Frame_Count 则与相机内部帧缓存满有关。这些是 pylon 专有统计名称,不是所有 GenICam 相机通用节点,详见 Stream Grabber Parameters。
计算容量并选择丢帧策略
假设相机以 25 fps 连续输入,每帧间隔 40 ms,而单线程算法固定需要 55 ms。处理能力约为 18.18 fps,队列每秒净增长约 6.82 帧;即使应用队列能放 8 帧,从空队列到填满也只需约 1.17 秒。单纯把缓冲调大只能推迟故障,不能消除长期吞吐不足。
初始缓冲大小可按短时停顿估算:25 fps 下要容纳 120 ms 的暂时阻塞,至少预留 3 帧,再加 2 帧余量,可先试 5 个应用队列槽位并实测峰值;GenTL 缓冲数量应单独根据 Producer 最小要求和实测设置。2448×2048、Mono8 的原始图像每帧约 5.01 MB,8 帧副本约占 40.1 MB,不含驱动缓冲和处理中的复制。
| 业务用途 | 队列及超时处理 |
|---|---|
| PLC 触发的逐件 OK/NG 剔废 | 每个 trigger_id 必须对应一次有效判定或明确故障;超时、缺帧不能沿用前件的 OK,应报告无效并触发工艺定义的安全处置 |
| 操作员实时预览 | 应用队列可限制为 1~2 帧,过载时丢弃最旧的待显示帧,记录丢弃计数,优先展示最新图像 |
| 离线缺陷追溯 | 使用有界缓冲并校验磁盘持续写入速率;容量不足时报警或暂停采集,不静默丢证据 |
用产线指标验收修复
在 25 fps、每次触发对应一帧的测试条件下,连续运行 10 分钟应收到 15000 次触发;先只采集,再恢复算法,最后在 PLC、存盘和多相机同时工作的满载条件下重复测试。记录触发数、有效帧数、缺号数、重复处理数、缓冲失败数、队列峰值和端到端延迟的 P99。
若工件到剔废机构可用的时限为 250 ms,并预留 50 ms 控制裕量,可将“触发到 PLC 收到判定”的 P99 小于 200 ms 作为该示例的验收线。逐件检测还应要求无未处置的缺帧和重复结果,队列深度无持续上升趋势;任何超时都应携带对应 trigger_id 输出故障状态,而不是让上一件工件的结果冒充本件结果。