智能制造与工业软件 / 系统课时

用延迟和质量指标定位数据丢失

用延迟和质量指标定位数据丢失

当设备温度曲线出现空洞时,不能只看数据库少了多少行就认定发生了丢包。通过采集成功率、测点质量、新鲜度、待发积压和分段延迟,可以确认异常最早出现在哪一跳,并把修复结果落实到可复查的事件记录和指标基线。

学习目标

  • 为设备、网关、消息链路和平台定义可对账的观测边界。
  • 计算五类指标,区分采集失败、质量异常、传输积压与真正丢失。
  • 按分段证据确定排查顺序,并验证补传后数据是否完整。

先划清采集到入库的观测边界

以每个周期测点的采集尝试为起点,记录网关收到响应、质量判定、成功落盘入队、Broker 确认和平台事务提交五个检查点。推荐保留 deviceId、pointId、event_time、来源序号或稳定的 eventId,使补传后仍可找到同一条事件。没有源序号的设备,需用点位、可信源时间和采样批次生成稳定去重键。

对 MQTT QoS 1,上行 PUBACK 仅说明这一跳的接收方接受了消息,不表示订阅者已经消费或数据库已提交;参见 MQTT 5.0 规范。因此,必须在平台单独记录接收、拒收原因和成功提交次数。

设备到入库的指标观测与异常边界

对账时限定同一产线、网关、点位集合及五分钟窗口。窗口内的发布与落库不一定对应同一批事件:断网补传、队列跨窗、QoS 重发和幂等去重都会让计数暂时不同。确认丢失应使用过了补传宽限期的事件 ID 集合,而不是直接相减两个总数。

建立五类可操作的指标

下面的告警阈值是针对每十秒采样一次的周期点位设置的试运行起点,应根据班次和实际延迟分布调整;事件驱动点位必须另设心跳,不应因长期没有状态变化就报不新鲜。

指标 计算口径 初始预警示例
采集成功率 五分钟成功响应次数 ÷ 发起采集次数;超时单独计失败 低于 99%
质量异常率 Bad、Uncertain 等非正常质量次数 ÷ 已响应次数 高于 1%
数据新鲜度 当前时间减去最近一条已入库、质量合格事件的 event_time 超过 30 秒
消息积压 网关待发队列条数、最老待发事件等待时间和队列增长量 连续增长 10 分钟或最老超过 60 秒
入库延迟 ingested_at - event_time,按五分钟窗口看 p95 p95 超过 15 秒

可自行向 Prometheus 暴露 iiot_collect_attempt_total、iiot_collect_response_total、iiot_quality_non_good_total、iiot_queue_depth、iiot_mqtt_puback_total、iiot_db_insert_total 及入库延迟直方图。这些是建议的自定义业务指标,不是协议或 Broker 内置字段。次数用 Counter,队列条数用 Gauge,延迟分布用 Histogram;Counter 在进程重启后可能归零,求窗口速率应先对各时间序列用 rate() 或 increase() 再聚合,不要直接相减累计值。标签优先使用产线、网关和协议,禁止把每个 eventId 设为监控标签。

复算一个五分钟故障窗口

假设有二十个测点,每十秒发起一次轮询,五分钟应尝试 20 × 30 = 600 次。网关实际收到 588 次响应,其中 12 次质量不合格;576 条合格事件落盘。该窗口收到 416 次 MQTT QoS 1 成功确认,数据库新增 400 条唯一记录,边缘队列由 80 增至 240 条。

下面是完整的 Python 3.9+ 离线诊断示例。时间戳是固定的演示样本,不是程序自动读取的现场时间;实际排查需要替换为同一事件的真实时间,并先校准各主机时钟。

python
from datetime import datetime

counts = {
    "attempts": 600, "read_ok": 588, "non_good": 12,
    "enqueued": 576, "puback": 416, "db_new": 400,
    "queue_before": 80, "queue_after": 240,
}
times = {
    "event": "2026-10-12T08:12:00+08:00",
    "gateway": "2026-10-12T08:12:01+08:00",
    "puback": "2026-10-12T08:12:05+08:00",
    "stored": "2026-10-12T08:12:37+08:00",
    "now": "2026-10-12T08:12:40+08:00",
}

def seconds(start, end):
    return int((datetime.fromisoformat(times[end])
                - datetime.fromisoformat(times[start])).total_seconds())

# 只有同一队列且成功收到 PUBACK 后才出队,守恒式才适用。
assert counts["queue_after"] == (
    counts["queue_before"] + counts["enqueued"] - counts["puback"]
)
print(f'采集成功率:{100 * counts["read_ok"] / counts["attempts"]:.2f}%')
print(f'质量异常率:{100 * counts["non_good"] / counts["read_ok"]:.2f}%')
print(f'队列:{counts["queue_before"]} → {counts["queue_after"]}(净增 {counts["queue_after"] - counts["queue_before"]})')
print(f'最新有效事件年龄:{seconds("event", "now")} 秒')
# 跨主机时间戳比较要求设备、网关和平台已对时。
print(f'单条样本分段延迟:{seconds("event", "gateway")} / {seconds("gateway", "puback")} / {seconds("puback", "stored")} 秒')
print(f'同窗口 PUBACK 与新增入库差:{counts["puback"] - counts["db_new"]} 条(待按事件 ID 复核)')

预期输出:

text
采集成功率:98.00%
质量异常率:2.04%
队列:80 → 240(净增 160)
最新有效事件年龄:40 秒
单条样本分段延迟:1 / 4 / 32 秒
同窗口 PUBACK 与新增入库差:16 条(待按事件 ID 复核)

采集环节有 12 次无成功响应,质量环节又筛掉 12 条;二者原因不同,不能合并统计。网关队列净增 160 条,符合 80 + 576 - 416 = 240 的守恒关系,说明相当一部分合格事件仍在本地等待发送。样本总入库延迟为 37 秒,其中确认后至提交用时 32 秒,但单条延迟不能冒充 p95。

按最早异常的边界排查

  1. 计划采集数下降:先查网关采集任务是否执行、线程是否阻塞以及设备是否运行。计划 600 次却只发起 480 次,问题可能在任务调度,不能先归咎网络丢包。
  2. 请求发出了但成功率下降:按设备地址查看 Modbus 超时、OPC UA 会话状态、网关到设备的网络连通性及交换机错误计数。示例的 588/600 = 98% 需要先核对失败的十二次请求。
  3. 有响应但质量异常上升:查看 OPC UA StatusCode、传感器故障位、点位映射及时间质量。非 Good 不应被伪装成网络丢失,也不能静默改成正常数值。
  4. 合格事件已入队但积压增长:检查边缘磁盘容量、MQTT 重连次数、上行链路、Broker 限流与拒收原因。示例净积压 160 条,优先检查发布速率为何赶不上入队速率。
  5. PUBACK 正常但入库变慢:检查订阅是否持续、消费端滞后、校验拒收、数据库写入错误及幂等冲突。窗口中的 416 - 400 = 16 不是已经证实丢失的十六条,要按 eventId 在补传宽限期结束后逐条核对。

如果入库速率看似正常,但新鲜度仍为 40 秒,应再看最新数据是否只是旧事件补传、源设备是否停止产生新值,以及 event_time 是否发生时钟偏移。跨设备计算延迟前要核实 NTP/PTP 对时,负延迟通常值得先检查时钟与时间字段。

用补传结果确认恢复

修复后先让网关持续补传,直至待发队列回到正常水位或不再增长。对故障窗口内已落盘的 576 个合格事件,导出稳定事件 ID,与平台已提交的唯一键集合比较;剩余差集逐条归类为待重试、拒收、过期丢弃或真正缺失。生产环境应同时保存网关出队确认、消费端拒收和数据库提交记录,便于复核。

连续观察至少十五分钟,检查采集成功率回到 99% 以上、质量异常率低于 1%、有效数据新鲜度不超过 30 秒、五分钟 p95 入库延迟不超过 15 秒,并确认最老待发事件等待时间回落。将正常班次的采样周期、各段 p50/p95、队列高水位、失败原因分布记录为基线;当链路再次报警时,就能判断是新故障还是既有积压尚未清完。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用延迟和质量指标定位数据丢失

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通