单片机与物联网 / 系统课时
用指标和日志完成故障演练
用指标和日志完成故障演练
在隔离的预发 MQTT Broker 上,主动制造认证拒绝、订阅错位、连接失败和离线积压,再用客户端返回、Broker 日志、指标与抓包互相印证。完成后应能为每种故障指出发生层级、修复动作和复测证据,而不是只看到“设备离线”。
学习目标
- 复现四类常见故障,并区分预期失败与环境异常。
- 从 CONNACK、SUBACK、日志及
$SYS指标逐层缩小范围。 - 验证离线消息恢复,并形成可以交接的演练记录。
固定环境与观测基线
准备一台仅用于演练的 Mosquitto Broker,示例监听 127.0.0.1:1883,支持 MQTT 5;创建临时账号 drill,密码设为 drill-pass,赋予 drill/# 的发布和订阅权限。另建只读 $SYS/broker/# 的监控账号 monitor,演练口令为 monitor-pass。确认 1884 端口没有服务监听,并安装 mosquitto_pub、mosquitto_sub。
在预发配置中开启 connection_messages true,并保留 log_type error、log_type warning、log_type notice 和 log_type subscribe;设置 sys_interval 10,使系统指标周期更新。配置修改后按部署方式重新加载或重启,再先做一次合法连接。记录测试时间、Client ID、Topic、协议版本和日志时间范围,后续才能将证据对齐。
注入四类故障并验证现象
下面脚本依赖上述演练 Broker 的账号、ACL 和端口设置。错误主题没有其他发布者,也没有旧的保留消息;drill-slow 是本次新建的 Client ID。故意错误的端口代表 TCP 连接失败,而非 MQTT 鉴权失败。
#!/usr/bin/env bash
set -euo pipefail
HOST=127.0.0.1
PORT=1883
USER=drill
PASS=drill-pass
TOPIC='drill/motor-07/telemetry'
COMMON=(-h "$HOST" -p "$PORT" -V mqttv5 -u "$USER" -P "$PASS")
# 先证明正确凭据和发布权限有效,避免把环境故障当作注入成功。
mosquitto_pub "${COMMON[@]}" -q 1 -t "$TOPIC" -m baseline
# 注入错误密码;用一次性发布的退出状态判断连接是否被拒绝。
if mosquitto_pub -h "$HOST" -p "$PORT" -V mqttv5 -u "$USER" -P wrong -t "$TOPIC" -m test >/dev/null 2>&1; then
echo AUTH_UNEXPECTED
else
echo AUTH_REJECTED
fi
# 错误订阅主题即使被接受,也收不到发往另一 Topic 的新消息。
mosquitto_sub "${COMMON[@]}" -t 'drill/motor-08/telemetry' -R -C 1 -W 3 >/dev/null 2>&1 &
SUB_PID=$!
sleep 1
mosquitto_pub "${COMMON[@]}" -q 1 -t "$TOPIC" -m 'seq=1'
if wait "$SUB_PID"; then echo TOPIC_UNEXPECTED; else echo TOPIC_MISMATCH; fi
# 假设本机 1884 无监听服务,用错误端口模拟 TCP 连接失败。
if mosquitto_pub -h "$HOST" -p 1884 -t "$TOPIC" -m test >/dev/null 2>&1; then
echo TCP_UNEXPECTED
else
echo TCP_CONNECT_FAILED
fi
# 持久订阅者先下线;离线期间的 QoS 1 消息由会话排队。
mosquitto_sub "${COMMON[@]}" -i drill-slow -c -x 120 -q 1 -t 'drill/slow' -W 1 >/dev/null 2>&1 || true
for n in 1 2 3; do
mosquitto_pub "${COMMON[@]}" -q 1 -t 'drill/slow' -m "seq=$n"
done
mosquitto_sub "${COMMON[@]}" -i drill-slow -c -x 120 -q 1 -t 'drill/slow' -C 3 -W 5预期输出(Broker 可用、无其他演练流量且队列未触及限额时):
AUTH_REJECTED
TOPIC_MISMATCH
TCP_CONNECT_FAILED
seq=1
seq=2
seq=3-W 的超时退出本来就是错误订阅测试的一部分;不能单凭退出码判定认证失败。恢复队列还要求两次连接使用同一个 Client ID、非零 Session Expiry 和 QoS 1 订阅。实际会话编号、日志时间及端口可随环境调整。

用指标与日志确认根因
演练前后各采集一轮 Broker 日志和 $SYS 快照;sys_interval 10 时至少跨越一个更新周期。日志用测试时间和 Client ID 定位 CONNECT 拒绝、SUBSCRIBE Topic、断开原因,再用下列指标判断影响范围。
| 现象 | 优先查看 | 判定依据 |
|---|---|---|
| 错误密码 | CONNACK 原因与认证日志 | MQTT 5 中 Bad User Name or Password 或 Not authorized;不应进入业务订阅 |
| 订阅无消息 | SUBACK、完整 Topic、ACL | SUBACK 成功只表示订阅已建立,不保证有匹配发布 |
| 错误端口 | TCP 建连记录、Broker 监听和连接日志 | SYN 后拒绝且无 MQTT CONNECT,先修端口或网络 |
| 离线积压 | $SYS/broker/clients/disconnected、$SYS/broker/store/messages/count、$SYS/broker/publish/messages/dropped |
离线会话与消息存储变化;丢弃计数增长提示达到队列或 inflight 限制 |
用监控账号在注入前、离线发布后和恢复后分别读取同一指标($SYS 必须用单引号保护,避免被 Shell 展开):
mosquitto_sub -h 127.0.0.1 -p 1883 -V mqttv5 -u monitor -P monitor-pass -t '$SYS/broker/store/messages/count' -C 1 -W 15 -v预期输出格式(数值会随其他会话和保留消息变化):
$SYS/broker/store/messages/count <COUNT>store/messages/count 同时包含 Retained 消息,不能直接当作某个客户端的积压长度;这些 $SYS 值也是 Broker 级汇总。要定位具体慢消费者,还需结合会话 ID、消费确认速率及 Broker 或监控系统提供的单客户端指标。指标定义参见 Mosquitto 官方手册。
抓包与恢复验收
在隔离网络捕获测试端口的 TCP 流量,按 SYN/SYN-ACK、MQTT CONNECT/CONNACK、SUBSCRIBE/SUBACK、PUBLISH/PUBACK 的顺序核查。抓包显示 TCP 根本未建立,优先查地址、监听和防火墙;CONNACK 拒绝,优先查身份;SUBACK 成功却无 PUBLISH,则比较 Topic、ACL 和发布端日志。MQTT 经 TLS 加密时,普通抓包不能直接读出 MQTT 内容,应结合客户端 -d 调试输出及 Broker 日志。
结束时恢复正确密码与 Topic,停止故障注入,确认三条离线消息只被业务处理一次,且相应队列指标回落。清理测试会话、临时凭据和抓包文件,并恢复常规日志级别。演练记录至少包含“注入条件—时间窗口—客户端证据—Broker 证据—根因—修复后结果”,否则无法在真实故障时复用。