智能制造与工业软件 / 系统课时

验证上行消息的设备身份与数据格式

验证上行消息的设备身份与数据格式

一条设备消息能够通过 MQTT 到达平台,并不代表它可以直接入库。本课以设备温度和运行状态上报为例,建立身份认证、主题授权、消息版本和字段类型的准入规则,再用可运行程序验证合法消息与异常消息的处理结果。

学习目标

  • 区分设备认证、MQTT 主题授权和消息载荷校验,避免信任设备自报的身份。
  • 定义包含版本、设备编号、事件时间和测点值的消息契约。
  • 实现可运行的准入校验,并将非法来源和格式错误的数据隔离在入库流程之外。

固定设备消息的准入契约

假设工厂中有一台设备 machine01,每秒上报一次温度与运行状态。平台约定它只能向主题 factory/v1/machine01/telemetry 发布消息,载荷采用 UTF-8 编码的 JSON 对象。

设备身份不能只靠载荷中的 deviceId 判断,因为任何发送者都可以构造相同的字段。需要同时约束经过认证的连接身份、允许发布的主题以及消息内容。

本例采用以下消息契约:

字段 类型 校验规则
schemaVersion 整数 必须等于 1
deviceId 字符串 必须等于认证身份绑定的设备编号
eventTime 字符串 带时区的 ISO 8601 时间,例如 2026-10-12T00:00:00Z
temperatureC 数值 示例探头量程为 -40~150 ℃,不接受布尔值
running 布尔值 只能是 JSON 的 true 或 false

这里的温度上下限是本例设备的业务约束,不是所有工业温度传感器的通用量程。实际项目应读取设备规格和点位配置,分别设置合理范围。

平台还需要限制单条消息大小,例如最大 8192 字节,并拒绝重复字段名、未知字段、缺失字段和不支持的版本。这样可以防止错误数据被静默转换为看似有效的测点记录。

将身份认证和主题授权放在接入边界

MQTT 接入层至少需要两类检查:连接时确认设备是谁,发布消息时确认设备是否有权使用目标主题。消息格式检查则安排在可信接入处理器中,位于时序库写入之前。

以设备 machine01 为例,可按以下顺序配置:

  1. 在设备注册表中建立设备编号 machine01,将其绑定到独立的认证凭据。生产环境可以采用双向 TLS 客户端证书,或者受 TLS 保护的设备专属凭据。
  2. 在 MQTT Broker 中设置发布 ACL,只允许该认证主体向 factory/v1/machine01/telemetry 发布,不允许向其他设备的主题发布。
  3. 为平台消费服务单独配置只读订阅权限,例如订阅 factory/v1/+/telemetry,不要复用设备凭据。
  4. 平台收到 Broker 转发的消息后,验证主题结构、JSON 格式、消息版本、字段类型及字段之间的一致性。
  5. 只有全部通过的消息才能进入标准化处理和时序数据写入;格式异常的消息进入隔离存储。

工业设备上行消息的身份授权、格式校验与拒收分流

这里有一个容易忽略的协议边界:标准 MQTT 订阅消息不会自动附带经过 Broker 认证的原始发布者身份。因此,下游消费服务不能从普通 PUBLISH 载荷中推断认证主体。必须依赖 Broker 已执行的主题 ACL,或者由可信网关、Broker 扩展提供经过验证的身份上下文。MQTT 5 用户属性也不能直接充当认证依据,因为普通发布者可以自行填写这些属性。

不同 Broker 的 ACL 配置格式并不相同。例如,可以参考 HiveMQ Authorization 官方文档了解发布与订阅授权的职责。部署时应检查所选 Broker 的默认授权策略,避免意外允许所有主题。

编写可运行的消息准入校验

下面使用 Python 3.11 或更新版本实现一个最小验证器。它模拟认证网关或 Broker 扩展中的可信发布入口:principal 来自已经验证的连接上下文,topic 是实际发布主题,raw 是接收到的原始 JSON 字节。

这段程序不负责建立 MQTT 连接,也不代替生产 Broker 的真实 ACL。它用于独立验证准入规则,并检查不同错误是否能够被明确拒绝。

将以下代码保存为 validate_uplink.py:

python
import json
from datetime import datetime

REQUIRED = {
    "schemaVersion", "deviceId", "eventTime",
    "temperatureC", "running"
}


def unique_pairs(pairs):
    # 拒绝重复 JSON 键,避免不同解析器产生不同结果
    result = {}
    for key, value in pairs:
        if key in result:
            raise ValueError("重复字段")
        result[key] = value
    return result


def reject_nonfinite(value):
    raise ValueError("非有限数值")


def validate(principal, topic, raw):
    # principal 必须来自可信认证入口,不能从载荷中提取
    if topic != f"factory/v1/{principal}/telemetry":
        raise ValueError("主题越权")
    if len(raw) > 8192:
        raise ValueError("载荷超限")

    try:
        data = json.loads(
            raw,
            object_pairs_hook=unique_pairs,
            parse_constant=reject_nonfinite
        )
    except (UnicodeDecodeError, json.JSONDecodeError):
        raise ValueError("JSON 无效") from None

    if type(data) is not dict or set(data) != REQUIRED:
        raise ValueError("字段集合不符")
    if type(data["schemaVersion"]) is not int or data["schemaVersion"] != 1:
        raise ValueError("版本不支持")
    if data["deviceId"] != principal:
        raise ValueError("设备编号不符")

    # bool 是 int 的子类,必须显式排除
    temperature = data["temperatureC"]
    if type(temperature) not in (int, float) or not -40 <= temperature <= 150:
        raise ValueError("温度类型或范围错误")
    if type(data["running"]) is not bool:
        raise ValueError("运行状态类型错误")
    if type(data["eventTime"]) is not str:
        raise ValueError("时间格式错误")

    try:
        timestamp = datetime.fromisoformat(
            data["eventTime"].replace("Z", "+00:00")
        )
    except ValueError:
        raise ValueError("时间格式错误") from None
    if timestamp.tzinfo is None:
        raise ValueError("时间缺少时区")
    return data


sample = {
    "schemaVersion": 1,
    "deviceId": "machine01",
    "eventTime": "2026-10-12T00:00:00Z",
    "temperatureC": 36.5,
    "running": True
}

valid = json.dumps(sample).encode("utf-8")
wrong_type = json.dumps({
    **sample, "temperatureC": "36.5"
}).encode("utf-8")
wrong_version = json.dumps({
    **sample, "schemaVersion": 2
}).encode("utf-8")

# 测试合法、主题越权、类型错误和版本错误四种情况
cases = [
    ("合法", "machine01", "factory/v1/machine01/telemetry", valid),
    ("越权", "machine02", "factory/v1/machine01/telemetry", valid),
    ("类型错误", "machine01", "factory/v1/machine01/telemetry", wrong_type),
    ("版本错误", "machine01", "factory/v1/machine01/telemetry", wrong_version)
]

for label, principal, topic, raw in cases:
    try:
        validate(principal, topic, raw)
        print(f"{label}: 通过")
    except ValueError as error:
        print(f"{label}: 拒绝 - {error}")

在保存文件的目录执行 python validate_uplink.py。

预期输出:

text
合法: 通过
越权: 拒绝 - 主题越权
类型错误: 拒绝 - 温度类型或范围错误
版本错误: 拒绝 - 版本不支持

第一条消息通过全部检查。第二条模拟认证主体 machine02 试图发布 machine01 的数据,在真实部署中应由 Broker ACL 提前拒绝。第三条把温度从数值改为字符串,第四条使用平台尚不支持的版本 2,均不允许写入时序库。

程序还会拒绝 running 被写成数字、温度超过示例量程、缺少时区、重复 JSON 键,以及 NaN 等非标准 JSON 数值。实际平台还应根据业务需求检查事件时间是否明显超前、是否超过允许补传窗口,并增加设备点位合法性校验。

隔离拒收消息并验证入库边界

校验失败不能简单地忽略,也不能直接写入正常测点表。接入链路需要根据失败发生的位置采取不同处理方式。

失败位置 处理动作 排查依据
连接认证失败 拒绝连接 认证主体、失败原因、接收时间
主题 ACL 失败 Broker 拒绝发布 认证主体、尝试发布的主题
JSON 或字段校验失败 写入内部隔离队列或死信存储 原主题、错误码、接收时间、受控保存的原始载荷
版本不支持 隔离并触发版本兼容告警 schemaVersion、设备编号、平台支持版本
全部通过 写入标准化测点或时序库 设备编号、事件时间、测点值

隔离存储可以采用内部主题 platform/quarantine/telemetry,但这个主题必须只允许平台服务写入和读取,不能开放给设备直接发布。建议为隔离数据设置明确保留期,例如实验环境保留 7 天,并限制载荷大小和访问权限。

实际接入服务还应避免让无法处理的消息无限重试。字段类型错误或版本不支持通常不会因再次消费而自行恢复,应隔离并等待设备配置修复或受控重放,而不是反复写回原主题形成消息循环。

验收时至少完成三项检查:合法的 machine01 消息能进入正常数据集;越权发布被 Broker 阻断且正常消费端收不到消息;错误类型及不支持的版本进入隔离存储,正常时序库记录数保持不变。

最后还需要考虑 MQTT QoS 1 可能发生重复投递。通过格式验证不等于消息已经去重,生产契约可增加 sequence 或 messageId,并结合设备编号构造幂等键。这样才能同时保证非法消息被拦截、有效消息可查询、重复上报不会产生错误统计。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

验证上行消息的设备身份与数据格式

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通