智能制造与工业软件 / 系统课时

用事件时间和幂等键处理补传数据

用事件时间和幂等键处理补传数据

网络恢复后,边缘网关可能把数分钟前的测点事件集中补传,MQTT 重试还会让同一事件多次到达。本课用事件时间归属统计窗口,用持久化的事件标识保证重复写入不增加记录数,并验证晚到数据仍落在原来的分钟。

学习目标

  • 区分设备事件时间、平台接收时间及各自用途。
  • 为补传事件设计重试不变的幂等键,并落地数据库唯一约束。
  • 验证乱序、晚到和重复消息对存储与分钟统计的影响。

确定事件身份与时间语义

一条工业遥测事件至少包含 deviceId、eventId、eventTime 和数值。eventTime 是测量发生的时刻,ingestTime 是平台实际接收的时刻;补传时二者可能相差几十秒乃至数小时。历史曲线、分钟能耗和报警追溯应按 eventTime 归属,而传输延迟与积压监控按 ingestTime 计算。

eventId 必须在首次采集并写入边缘落盘队列时生成,重发只能复用原值。可使用持久化的网关标识与单调递增序号,例如 gw01-0041;网关重启后序号不能回退或重用。平台用 (deviceId, eventId) 做唯一键,不能用接收时间或 MQTT 报文发送次数构造键。设备时钟应同步;没有可信设备时间时,明确标记采用网关采集时间,不能把恢复连接的时刻冒充原始事件时间。

事件时间、补传顺序和幂等入库的数据流

在数据库入口实施幂等写入

以下程序使用 Python 3.10+ 标准库 sqlite3,要求底层 SQLite 3.24.0+。示例将平台到达时间固定为测试数据,以便每次运行结果一致;生产环境应由平台在接收时生成 ingestTime,不要信任消息中自报的接收时间。

python
import sqlite3

db = sqlite3.connect(":memory:")
db.executescript("""
CREATE TABLE telemetry (
    device_id TEXT NOT NULL,
    event_id TEXT NOT NULL,
    event_time TEXT NOT NULL,
    ingest_time TEXT NOT NULL,
    temperature REAL NOT NULL,
    PRIMARY KEY (device_id, event_id)
);
CREATE INDEX idx_telemetry_event_time
    ON telemetry (device_id, event_time);
""")

# 同一事件重发时,事件标识与业务载荷保持不变。
arrivals = [
    ("10:00:09", "gw01-0041", "10:00:00", 70.0),
    ("10:00:12", "gw01-0042", "10:00:05", 72.0),
    ("10:00:30", "gw01-0040", "09:59:55", 69.0),
    ("10:00:32", "gw01-0041", "10:00:00", 70.0),
]
for received, event_id, occurred, temperature in arrivals:
    cursor = db.execute("""
        INSERT INTO telemetry
            (device_id, event_id, event_time, ingest_time, temperature)
        VALUES (?, ?, ?, ?, ?)
        ON CONFLICT(device_id, event_id) DO NOTHING
    """, (
        "Machine01", event_id,
        f"2026-10-12T{occurred}Z",
        f"2026-10-12T{received}Z",
        temperature,
    ))
    print(f"{event_id}: {'新增' if cursor.rowcount == 1 else '重复忽略'}")

db.commit()
print("入库条数:", db.execute("SELECT COUNT(*) FROM telemetry").fetchone()[0])

# 先入库去重,再按事件时间计算每分钟的温度均值。
for minute, count, avg in db.execute("""
    SELECT substr(event_time, 1, 16), COUNT(*), AVG(temperature)
    FROM telemetry
    GROUP BY substr(event_time, 1, 16)
    ORDER BY 1
"""):
    print(f"{minute}Z count={count} avg={avg:.1f}")

预期输出:

text
gw01-0041: 新增
gw01-0042: 新增
gw01-0040: 新增
gw01-0041: 重复忽略
入库条数: 3
2026-10-12T09:59Z count=1 avg=69.0
2026-10-12T10:00Z count=2 avg=71.0

ON CONFLICT ... DO NOTHING 配合主键保证同一事件仅插入一次;该约束必须由数据库承担,不能仅靠应用先查再写,因为并发消费者可能同时判断“尚不存在”。示例采用统一 UTC 的固定宽度 ISO 8601 时间字符串;实际时序库也可以使用 UTC 毫秒时间戳,避免混用时区和精度。

验证补传与统计窗口

按到达时间,gw01-0040 是第三条,但它的事件时间为 09:59:55,所以应归入 09:59 分钟;gw01-0041 在第四次到达时被忽略,10:00 分钟仍只有两条,均值为 (70 + 72) / 2 = 71。如果按 ingestTime 分桶,迟到的 69.0 会错误地进入 10:00 分钟。

验收时还应检查以下边界:

  1. 网关在消息确认前断网,重新发送相同 eventId,数据库总条数不变。
  2. 先收到较新的事件,再收到较旧的事件,历史查询按 eventTime 排序,而非按插入顺序排序。
  3. 两条消息使用同一幂等键却带不同数值时,应记录键冲突并进入异常队列,不能静默当作合法重试。

处理超长迟到与下游聚合

平台可以设置例如 10 分钟允许迟到窗口:事件晚到 30 秒,照常写入并刷新它对应的分钟统计;晚到 20 分钟,原始事件仍可审计存储,但应触发历史窗口重算或修正任务,而不是直接修改已封账的实时看板。该 10 分钟只是业务示例阈值,必须根据最长断网时间和报表更正要求调整。

这样可以同时保留“事件实际何时发生”和“平台何时收到”的证据,并使补传重试不扭曲历史趋势与聚合结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用事件时间和幂等键处理补传数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通