单片机与物联网 / 系统课时

用指标和日志完成故障演练

用指标和日志完成故障演练

在隔离的预发 MQTT Broker 上,主动制造认证拒绝、订阅错位、连接失败和离线积压,再用客户端返回、Broker 日志、指标与抓包互相印证。完成后应能为每种故障指出发生层级、修复动作和复测证据,而不是只看到“设备离线”。

学习目标

  • 复现四类常见故障,并区分预期失败与环境异常。
  • 从 CONNACK、SUBACK、日志及 $SYS 指标逐层缩小范围。
  • 验证离线消息恢复,并形成可以交接的演练记录。

固定环境与观测基线

准备一台仅用于演练的 Mosquitto Broker,示例监听 127.0.0.1:1883,支持 MQTT 5;创建临时账号 drill,密码设为 drill-pass,赋予 drill/# 的发布和订阅权限。另建只读 $SYS/broker/# 的监控账号 monitor,演练口令为 monitor-pass。确认 1884 端口没有服务监听,并安装 mosquitto_pub、mosquitto_sub。

在预发配置中开启 connection_messages true,并保留 log_type error、log_type warning、log_type notice 和 log_type subscribe;设置 sys_interval 10,使系统指标周期更新。配置修改后按部署方式重新加载或重启,再先做一次合法连接。记录测试时间、Client ID、Topic、协议版本和日志时间范围,后续才能将证据对齐。

注入四类故障并验证现象

下面脚本依赖上述演练 Broker 的账号、ACL 和端口设置。错误主题没有其他发布者,也没有旧的保留消息;drill-slow 是本次新建的 Client ID。故意错误的端口代表 TCP 连接失败,而非 MQTT 鉴权失败。

bash
#!/usr/bin/env bash
set -euo pipefail
HOST=127.0.0.1
PORT=1883
USER=drill
PASS=drill-pass
TOPIC='drill/motor-07/telemetry'
COMMON=(-h "$HOST" -p "$PORT" -V mqttv5 -u "$USER" -P "$PASS")

# 先证明正确凭据和发布权限有效,避免把环境故障当作注入成功。
mosquitto_pub "${COMMON[@]}" -q 1 -t "$TOPIC" -m baseline

# 注入错误密码;用一次性发布的退出状态判断连接是否被拒绝。
if mosquitto_pub -h "$HOST" -p "$PORT" -V mqttv5 -u "$USER" -P wrong -t "$TOPIC" -m test >/dev/null 2>&1; then
  echo AUTH_UNEXPECTED
else
  echo AUTH_REJECTED
fi

# 错误订阅主题即使被接受,也收不到发往另一 Topic 的新消息。
mosquitto_sub "${COMMON[@]}" -t 'drill/motor-08/telemetry' -R -C 1 -W 3 >/dev/null 2>&1 &
SUB_PID=$!
sleep 1
mosquitto_pub "${COMMON[@]}" -q 1 -t "$TOPIC" -m 'seq=1'
if wait "$SUB_PID"; then echo TOPIC_UNEXPECTED; else echo TOPIC_MISMATCH; fi

# 假设本机 1884 无监听服务,用错误端口模拟 TCP 连接失败。
if mosquitto_pub -h "$HOST" -p 1884 -t "$TOPIC" -m test >/dev/null 2>&1; then
  echo TCP_UNEXPECTED
else
  echo TCP_CONNECT_FAILED
fi

# 持久订阅者先下线;离线期间的 QoS 1 消息由会话排队。
mosquitto_sub "${COMMON[@]}" -i drill-slow -c -x 120 -q 1 -t 'drill/slow' -W 1 >/dev/null 2>&1 || true
for n in 1 2 3; do
  mosquitto_pub "${COMMON[@]}" -q 1 -t 'drill/slow' -m "seq=$n"
done
mosquitto_sub "${COMMON[@]}" -i drill-slow -c -x 120 -q 1 -t 'drill/slow' -C 3 -W 5

预期输出(Broker 可用、无其他演练流量且队列未触及限额时):

text
AUTH_REJECTED
TOPIC_MISMATCH
TCP_CONNECT_FAILED
seq=1
seq=2
seq=3

-W 的超时退出本来就是错误订阅测试的一部分;不能单凭退出码判定认证失败。恢复队列还要求两次连接使用同一个 Client ID、非零 Session Expiry 和 QoS 1 订阅。实际会话编号、日志时间及端口可随环境调整。

认证、订阅、连接与积压故障的逐层定位流程

用指标与日志确认根因

演练前后各采集一轮 Broker 日志和 $SYS 快照;sys_interval 10 时至少跨越一个更新周期。日志用测试时间和 Client ID 定位 CONNECT 拒绝、SUBSCRIBE Topic、断开原因,再用下列指标判断影响范围。

现象 优先查看 判定依据
错误密码 CONNACK 原因与认证日志 MQTT 5 中 Bad User Name or Password 或 Not authorized;不应进入业务订阅
订阅无消息 SUBACK、完整 Topic、ACL SUBACK 成功只表示订阅已建立,不保证有匹配发布
错误端口 TCP 建连记录、Broker 监听和连接日志 SYN 后拒绝且无 MQTT CONNECT,先修端口或网络
离线积压 $SYS/broker/clients/disconnected、$SYS/broker/store/messages/count、$SYS/broker/publish/messages/dropped 离线会话与消息存储变化;丢弃计数增长提示达到队列或 inflight 限制

用监控账号在注入前、离线发布后和恢复后分别读取同一指标($SYS 必须用单引号保护,避免被 Shell 展开):

bash
mosquitto_sub -h 127.0.0.1 -p 1883 -V mqttv5 -u monitor -P monitor-pass -t '$SYS/broker/store/messages/count' -C 1 -W 15 -v

预期输出格式(数值会随其他会话和保留消息变化):

text
$SYS/broker/store/messages/count <COUNT>

store/messages/count 同时包含 Retained 消息,不能直接当作某个客户端的积压长度;这些 $SYS 值也是 Broker 级汇总。要定位具体慢消费者,还需结合会话 ID、消费确认速率及 Broker 或监控系统提供的单客户端指标。指标定义参见 Mosquitto 官方手册。

抓包与恢复验收

在隔离网络捕获测试端口的 TCP 流量,按 SYN/SYN-ACK、MQTT CONNECT/CONNACK、SUBSCRIBE/SUBACK、PUBLISH/PUBACK 的顺序核查。抓包显示 TCP 根本未建立,优先查地址、监听和防火墙;CONNACK 拒绝,优先查身份;SUBACK 成功却无 PUBLISH,则比较 Topic、ACL 和发布端日志。MQTT 经 TLS 加密时,普通抓包不能直接读出 MQTT 内容,应结合客户端 -d 调试输出及 Broker 日志。

结束时恢复正确密码与 Topic,停止故障注入,确认三条离线消息只被业务处理一次,且相应队列指标回落。清理测试会话、临时凭据和抓包文件,并恢复常规日志级别。演练记录至少包含“注入条件—时间窗口—客户端证据—Broker 证据—根因—修复后结果”,否则无法在真实故障时复用。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用指标和日志完成故障演练

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通