嵌入式 Linux 与 RTOS / 系统课时

完成板级验收与故障演练

完成板级验收与故障演练

开发板能正常启动,只能证明“当前条件下可以运行”。量产验收要验证设备在冷启动、异常掉电、外设故障、资源耗尽、断网和升级中断后仍能留下证据、恢复服务,并在无法自愈时进入可诊断状态。

学习目标

  • 把功能测试整理成可重复执行、可判定通过或失败的板级验收项。
  • 为七类常见故障定义注入方式、观测证据、恢复动作和验收门槛。
  • 用统一采集脚本保留启动、内核、存储、网络和服务状态,形成量产放行记录。

把验收标准写成“触发—证据—恢复”

板级验收不要只写“能启动”“网络正常”。每个项目至少包含四个字段:前置条件、故障或操作、可观测证据、通过条件。这样同一套标准才能由不同测试人员复现,也能在软件版本升级后做回归。

场景 故障或操作 关键证据 通过条件
冷启动 完全断电后重新上电 Bootloader/内核日志、启动耗时、关键服务状态 在规定时间内进入业务态,无人工干预
异常掉电 业务写入期间断电 文件系统日志、关键数据校验、重启记录 重启后文件系统可挂载,关键数据满足一致性策略
外设异常 拔除、屏蔽或制造超时 驱动错误、重试次数、服务降级状态 不死机,不无限重试,恢复外设后可重新工作
存储满 在专用测试分区制造 ENOSPC 应用错误码、日志落盘行为、空间释放结果 业务不崩溃,保留必要日志,释放空间后恢复
网络断开 断开链路或屏蔽上行 链路状态、重连退避、离线缓存 不忙等,不持续刷日志,网络恢复后自动重连
升级中断 写入非活动槽期间中止 升级状态、Bootloader 槽位标记 旧版本仍可启动,未完成版本不会被选中
回滚 新版本启动失败或健康检查失败 启动计数、回滚原因、当前槽位 自动回到最后已知可用版本并保留失败证据

板级故障演练与恢复判定流程

先建立可比较的基线

每轮演练都先记录软件版本、启动槽位、内核版本、文件系统剩余空间、网络地址和关键服务状态。故障后再采一次同样的信息,差异才有意义。若只保存一段串口日志,后续很难证明“恢复到了什么状态”。

下面的脚本可直接放到测试板上,用同一格式保存验收证据。默认写入 /tmp/board-acceptance,不会修改系统配置;dmesg 在受限系统上可能无权限读取,脚本会保留提示而不中断。

bash
#!/bin/sh
set -eu

OUT_ROOT="${1:-/tmp/board-acceptance}"
TAG="${2:-baseline}"
STAMP="$(date +%Y%m%d-%H%M%S)"
OUT_DIR="${OUT_ROOT}/${STAMP}-${TAG}"

mkdir -p "$OUT_DIR"

{
  echo "time=$(date -Iseconds 2>/dev/null || date)"
  echo "hostname=$(hostname 2>/dev/null || uname -n)"
  echo "kernel=$(uname -r)"
  echo "uptime=$(cut -d' ' -f1 /proc/uptime)"
  if [ -r /proc/sys/kernel/random/boot_id ]; then
    echo "boot_id=$(cat /proc/sys/kernel/random/boot_id)"
  fi
} > "$OUT_DIR/system.txt"

df -h > "$OUT_DIR/df.txt"
ip addr show > "$OUT_DIR/ip-addr.txt" 2>&1 || true
ip route show > "$OUT_DIR/ip-route.txt" 2>&1 || true

if command -v systemctl >/dev/null 2>&1; then
  systemctl --failed --no-pager > "$OUT_DIR/systemd-failed.txt" 2>&1 || true
fi

if dmesg > "$OUT_DIR/dmesg-all.txt" 2>/dev/null; then
  tail -n 120 "$OUT_DIR/dmesg-all.txt" > "$OUT_DIR/dmesg-tail.txt"
  rm -f "$OUT_DIR/dmesg-all.txt"
else
  echo "dmesg unavailable" > "$OUT_DIR/dmesg-tail.txt"
fi

echo "evidence=$OUT_DIR"

预期输出:

text
evidence=/tmp/board-acceptance/<TIME>-baseline

实际目录名中的时间会不同。开始故障前用 baseline 采一次,故障出现时用 fault,恢复后用 recovered;三组证据应来自同一软件版本和同一块测试板。

按风险顺序执行故障演练

先做可逆、低风险项目,再做会影响存储和升级状态的项目。建议顺序是冷启动、外设异常、网络断开、存储满、异常掉电、升级中断、回滚。每项都应重复多轮,而不是“成功一次即通过”。

冷启动重点看“从上电到业务可用”的时间和服务依赖关系。至少记录 Bootloader 开始时间、内核启动完成点和业务健康检查通过点;若启动时间波动明显,应继续定位存储探测、网络等待或服务超时。

异常掉电必须在专用验收样机上执行,并先准备可校验的数据。测试目标不是证明 ext4、UBIFS 等文件系统“绝不会损坏”,而是确认设备遵循既定一致性策略:哪些数据允许丢失,哪些数据必须原子更新,发生恢复时能否给出明确证据。

验证资源与外设异常不会拖垮系统

外设异常要覆盖“设备不存在、响应超时、返回错误”三类结果。验收时观察内核是否持续刷屏、驱动是否无限重试、用户态服务是否被拖死,以及设备恢复后能否重新枚举或重新打开。

存储满测试应限定在独立测试分区或临时文件系统,验证应用遇到 ENOSPC 时是否停止非必要写入、保留关键告警并触发清理策略。网络断开则关注重连是否采用退避,离线数据是否有上限,链路恢复后是否会重复上报或丢失关键消息。

这两类测试的核心不是“故障期间所有功能仍正常”,而是故障被限制在预期边界内。只要单个外设、单个分区或单条链路异常就导致整机卡死、看门狗循环复位或日志占满根文件系统,就不能进入量产放行。

把升级中断和回滚当成启动链测试

A/B 升级设备要把“写入镜像”“标记待启动槽”“首次启动健康检查”“确认新槽”拆成独立状态。升级中断应发生在确认新槽之前,随后断电重启,验证 Bootloader 不会把半写入镜像当成可启动版本。

回滚测试则主动让新版本健康检查失败,例如让关键服务无法进入 ready 状态。通过条件不是“设备最后还能启动”,而是能证明启动计数达到阈值后自动切回旧槽,并记录失败槽位、版本、原因和回滚次数,避免设备在两个坏状态之间反复切换。

用证据决定是否放行

每个验收项最终只允许明确结论:通过、失败或阻塞。通过必须附带对应的版本号、硬件版本、测试条件、基线证据、故障证据、恢复证据和重复次数;失败必须能定位到日志、状态码或可复现步骤,不能只写“偶现”。

量产门槛应优先关注恢复能力:设备能否在无人干预下回到业务态,失败时是否保留足够证据,恢复后数据是否满足一致性要求。只有当七类场景都有可复现流程和清晰判据,“开发板能跑”才真正转化为“设备可以验收”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

完成板级验收与故障演练

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通