嵌入式 Linux 与 RTOS / 系统课时
完成板级验收与故障演练
完成板级验收与故障演练
开发板能正常启动,只能证明“当前条件下可以运行”。量产验收要验证设备在冷启动、异常掉电、外设故障、资源耗尽、断网和升级中断后仍能留下证据、恢复服务,并在无法自愈时进入可诊断状态。
学习目标
- 把功能测试整理成可重复执行、可判定通过或失败的板级验收项。
- 为七类常见故障定义注入方式、观测证据、恢复动作和验收门槛。
- 用统一采集脚本保留启动、内核、存储、网络和服务状态,形成量产放行记录。
把验收标准写成“触发—证据—恢复”
板级验收不要只写“能启动”“网络正常”。每个项目至少包含四个字段:前置条件、故障或操作、可观测证据、通过条件。这样同一套标准才能由不同测试人员复现,也能在软件版本升级后做回归。
| 场景 | 故障或操作 | 关键证据 | 通过条件 |
|---|---|---|---|
| 冷启动 | 完全断电后重新上电 | Bootloader/内核日志、启动耗时、关键服务状态 | 在规定时间内进入业务态,无人工干预 |
| 异常掉电 | 业务写入期间断电 | 文件系统日志、关键数据校验、重启记录 | 重启后文件系统可挂载,关键数据满足一致性策略 |
| 外设异常 | 拔除、屏蔽或制造超时 | 驱动错误、重试次数、服务降级状态 | 不死机,不无限重试,恢复外设后可重新工作 |
| 存储满 | 在专用测试分区制造 ENOSPC | 应用错误码、日志落盘行为、空间释放结果 | 业务不崩溃,保留必要日志,释放空间后恢复 |
| 网络断开 | 断开链路或屏蔽上行 | 链路状态、重连退避、离线缓存 | 不忙等,不持续刷日志,网络恢复后自动重连 |
| 升级中断 | 写入非活动槽期间中止 | 升级状态、Bootloader 槽位标记 | 旧版本仍可启动,未完成版本不会被选中 |
| 回滚 | 新版本启动失败或健康检查失败 | 启动计数、回滚原因、当前槽位 | 自动回到最后已知可用版本并保留失败证据 |

先建立可比较的基线
每轮演练都先记录软件版本、启动槽位、内核版本、文件系统剩余空间、网络地址和关键服务状态。故障后再采一次同样的信息,差异才有意义。若只保存一段串口日志,后续很难证明“恢复到了什么状态”。
下面的脚本可直接放到测试板上,用同一格式保存验收证据。默认写入 /tmp/board-acceptance,不会修改系统配置;dmesg 在受限系统上可能无权限读取,脚本会保留提示而不中断。
#!/bin/sh
set -eu
OUT_ROOT="${1:-/tmp/board-acceptance}"
TAG="${2:-baseline}"
STAMP="$(date +%Y%m%d-%H%M%S)"
OUT_DIR="${OUT_ROOT}/${STAMP}-${TAG}"
mkdir -p "$OUT_DIR"
{
echo "time=$(date -Iseconds 2>/dev/null || date)"
echo "hostname=$(hostname 2>/dev/null || uname -n)"
echo "kernel=$(uname -r)"
echo "uptime=$(cut -d' ' -f1 /proc/uptime)"
if [ -r /proc/sys/kernel/random/boot_id ]; then
echo "boot_id=$(cat /proc/sys/kernel/random/boot_id)"
fi
} > "$OUT_DIR/system.txt"
df -h > "$OUT_DIR/df.txt"
ip addr show > "$OUT_DIR/ip-addr.txt" 2>&1 || true
ip route show > "$OUT_DIR/ip-route.txt" 2>&1 || true
if command -v systemctl >/dev/null 2>&1; then
systemctl --failed --no-pager > "$OUT_DIR/systemd-failed.txt" 2>&1 || true
fi
if dmesg > "$OUT_DIR/dmesg-all.txt" 2>/dev/null; then
tail -n 120 "$OUT_DIR/dmesg-all.txt" > "$OUT_DIR/dmesg-tail.txt"
rm -f "$OUT_DIR/dmesg-all.txt"
else
echo "dmesg unavailable" > "$OUT_DIR/dmesg-tail.txt"
fi
echo "evidence=$OUT_DIR"预期输出:
evidence=/tmp/board-acceptance/<TIME>-baseline实际目录名中的时间会不同。开始故障前用 baseline 采一次,故障出现时用 fault,恢复后用 recovered;三组证据应来自同一软件版本和同一块测试板。
按风险顺序执行故障演练
先做可逆、低风险项目,再做会影响存储和升级状态的项目。建议顺序是冷启动、外设异常、网络断开、存储满、异常掉电、升级中断、回滚。每项都应重复多轮,而不是“成功一次即通过”。
冷启动重点看“从上电到业务可用”的时间和服务依赖关系。至少记录 Bootloader 开始时间、内核启动完成点和业务健康检查通过点;若启动时间波动明显,应继续定位存储探测、网络等待或服务超时。
异常掉电必须在专用验收样机上执行,并先准备可校验的数据。测试目标不是证明 ext4、UBIFS 等文件系统“绝不会损坏”,而是确认设备遵循既定一致性策略:哪些数据允许丢失,哪些数据必须原子更新,发生恢复时能否给出明确证据。
验证资源与外设异常不会拖垮系统
外设异常要覆盖“设备不存在、响应超时、返回错误”三类结果。验收时观察内核是否持续刷屏、驱动是否无限重试、用户态服务是否被拖死,以及设备恢复后能否重新枚举或重新打开。
存储满测试应限定在独立测试分区或临时文件系统,验证应用遇到 ENOSPC 时是否停止非必要写入、保留关键告警并触发清理策略。网络断开则关注重连是否采用退避,离线数据是否有上限,链路恢复后是否会重复上报或丢失关键消息。
这两类测试的核心不是“故障期间所有功能仍正常”,而是故障被限制在预期边界内。只要单个外设、单个分区或单条链路异常就导致整机卡死、看门狗循环复位或日志占满根文件系统,就不能进入量产放行。
把升级中断和回滚当成启动链测试
A/B 升级设备要把“写入镜像”“标记待启动槽”“首次启动健康检查”“确认新槽”拆成独立状态。升级中断应发生在确认新槽之前,随后断电重启,验证 Bootloader 不会把半写入镜像当成可启动版本。
回滚测试则主动让新版本健康检查失败,例如让关键服务无法进入 ready 状态。通过条件不是“设备最后还能启动”,而是能证明启动计数达到阈值后自动切回旧槽,并记录失败槽位、版本、原因和回滚次数,避免设备在两个坏状态之间反复切换。
用证据决定是否放行
每个验收项最终只允许明确结论:通过、失败或阻塞。通过必须附带对应的版本号、硬件版本、测试条件、基线证据、故障证据、恢复证据和重复次数;失败必须能定位到日志、状态码或可复现步骤,不能只写“偶现”。
量产门槛应优先关注恢复能力:设备能否在无人干预下回到业务态,失败时是否保留足够证据,恢复后数据是否满足一致性要求。只有当七类场景都有可复现流程和清晰判据,“开发板能跑”才真正转化为“设备可以验收”。