FPGA 与数字 IC 设计 / 系统课时
执行回归并形成验证记录
执行回归并形成验证记录
本节把一次故障修复收口为可重复的回归验证:重新运行正常、边界和故障复现场景,用日志与关键波形确认旧问题消失,同时检查修复没有破坏原有行为,并把结论整理成可追溯的验证记录。
学习目标
- 能按统一判定契约执行完整回归,而不是只重跑出错用例
- 能结合自动化结果与关键波形判断修复是否真正生效
- 能记录故障现象、根因、修复方式和验证证据,形成可复查闭环
统一机器判定契约
回归要同时证明两件事:原故障场景由失败变为通过,原本正常的基线场景仍然通过。建议至少覆盖复位、正常功能、边界输入和故障重放;若修复涉及状态机、时序边界或异常输入,还应把对应场景加入固定回归集合。
延续前文 testbench 的约定,功能结果以终态文本为契约:验证成功输出 RESULT: PASS,期望值不匹配或断言判定失败输出 RESULT: FAIL。前文失败示例打印 RESULT: FAIL 后调用 $finish 正常结束,因此不能把“功能失败”直接等同于 vvp 的非零退出码。
回归脚本应分开处理两类结果:先读取 RESULT: PASS / RESULT: FAIL 判定功能是否通过;再把编译失败、仿真器异常等非零退出码视为执行层错误。为了方便 CI 使用,回归脚本可以在汇总后把“任一功能失败或执行错误”统一转换成脚本自身的非零退出码,但这不要求每个 testbench 自己返回非零状态。

执行全部测试场景
下面给出一个可直接用于 Icarus Verilog 的最小回归脚本。它假设工程已有 rtl/*.sv,测试文件为 tb/tb_reset.sv、tb/tb_nominal.sv、tb/tb_boundary.sv 和 tb/tb_bug_replay.sv,对应顶层模块名分别为 tb_reset、tb_nominal、tb_boundary、tb_bug_replay;每个 testbench 结束时只输出一种终态标记:RESULT: PASS 或 RESULT: FAIL。
#!/usr/bin/env bash
set -uo pipefail
mkdir -p build logs
cases=(reset nominal boundary bug_replay)
passed=0
failed=0
for case_name in "${cases[@]}"; do
top="tb_${case_name}"
image="build/${top}.vvp"
compile_log="logs/${top}.compile.log"
sim_log="logs/${top}.log"
# 编译失败属于执行层错误,不与 testbench 的功能结果混在一起。
if ! iverilog -g2012 -s "$top" -o "$image" rtl/*.sv "tb/${top}.sv" >"$compile_log" 2>&1; then
printf '[ERROR] %s: compile failed, see %s\n' "$case_name" "$compile_log"
failed=$((failed + 1))
continue
fi
if ! vvp "$image" 2>&1 | tee "$sim_log"; then
printf '[ERROR] %s: simulator returned non-zero\n' "$case_name"
failed=$((failed + 1))
continue
fi
# 功能成败只读取 testbench 的终态文本契约。
if grep -qx 'RESULT: FAIL' "$sim_log"; then
printf '[FAIL] %s\n' "$case_name"
failed=$((failed + 1))
elif grep -qx 'RESULT: PASS' "$sim_log"; then
printf '[PASS] %s\n' "$case_name"
passed=$((passed + 1))
else
printf '[FAIL] %s: result marker not found\n' "$case_name"
failed=$((failed + 1))
fi
done
printf 'Regression summary: %d passed, %d failed\n' "$passed" "$failed"
(( failed == 0 )) || exit 1预期输出
RESULT: PASS
[PASS] reset
RESULT: PASS
[PASS] nominal
RESULT: PASS
[PASS] boundary
RESULT: PASS
[PASS] bug_replay
Regression summary: 4 passed, 0 failed实际日志可能包含更多信息,但全通过时脚本最终返回状态码 0。若某个 testbench 打印 RESULT: FAIL,即使 vvp 本身正常退出,脚本仍会把该场景计为功能失败,并在完成汇总后返回非零状态;若编译或仿真器本身异常,则记录为执行层错误。这样既兼容前文只打印失败标记并 $finish 的模板,也能给 CI 提供稳定的进程级结果。
用关键波形复核修复
自动化通过后仍要复核原故障场景,因为有些问题来自时序窗口、未知态传播或边沿采样,只看最终输出可能漏掉中间异常。波形检查应围绕“触发条件—内部状态—输出响应”建立最短证据链,不需要截取整段仿真。
至少确认故障触发点已被覆盖,修复相关寄存器或状态机在目标边沿进入预期状态,最终输出在规定周期内稳定到正确值。如果修复前曾出现 X、Z、多余脉冲或提前/延后一个周期的响应,也应在相同时间窗口重新检查。
形成可追溯验证记录
验证记录要让后来者能够回答四个问题:出了什么问题、为什么出错、改了什么、凭什么确认已经修好。记录不必很长,但必须能关联到具体版本和证据文件。
| 记录项 | 建议内容 |
|---|---|
| 故障现象 | 触发条件、错误输出或错误时序 |
| 根因 | 导致故障的逻辑条件、状态迁移或时序关系 |
| 修复 | 修改点及其设计意图 |
| 回归结果 | 全部场景通过数量,例如 4/4 PASS |
| 证据 | 日志 <PATH>、关键波形 <PATH>、版本 <ID> |
如果回归中发现新的失败,应单独记录它与本次修复的关系:是修复引入的副作用、原来未覆盖的旧缺陷,还是测试期望本身错误。只有原故障消失、全部基线场景通过,并且日志与关键波形能够支持结论时,这次修复才算完成验证闭环。