FPGA 与数字 IC 设计 / 系统课时

执行回归并形成验证记录

执行回归并形成验证记录

本节把一次故障修复收口为可重复的回归验证:重新运行正常、边界和故障复现场景,用日志与关键波形确认旧问题消失,同时检查修复没有破坏原有行为,并把结论整理成可追溯的验证记录。

学习目标

  • 能按统一判定契约执行完整回归,而不是只重跑出错用例
  • 能结合自动化结果与关键波形判断修复是否真正生效
  • 能记录故障现象、根因、修复方式和验证证据,形成可复查闭环

统一机器判定契约

回归要同时证明两件事:原故障场景由失败变为通过,原本正常的基线场景仍然通过。建议至少覆盖复位、正常功能、边界输入和故障重放;若修复涉及状态机、时序边界或异常输入,还应把对应场景加入固定回归集合。

延续前文 testbench 的约定,功能结果以终态文本为契约:验证成功输出 RESULT: PASS,期望值不匹配或断言判定失败输出 RESULT: FAIL。前文失败示例打印 RESULT: FAIL 后调用 $finish 正常结束,因此不能把“功能失败”直接等同于 vvp 的非零退出码。

回归脚本应分开处理两类结果:先读取 RESULT: PASS / RESULT: FAIL 判定功能是否通过;再把编译失败、仿真器异常等非零退出码视为执行层错误。为了方便 CI 使用,回归脚本可以在汇总后把“任一功能失败或执行错误”统一转换成脚本自身的非零退出码,但这不要求每个 testbench 自己返回非零状态。

testbench 结果标记、回归脚本与 CI 退出码之间的判定关系

执行全部测试场景

下面给出一个可直接用于 Icarus Verilog 的最小回归脚本。它假设工程已有 rtl/*.sv,测试文件为 tb/tb_reset.sv、tb/tb_nominal.sv、tb/tb_boundary.sv 和 tb/tb_bug_replay.sv,对应顶层模块名分别为 tb_reset、tb_nominal、tb_boundary、tb_bug_replay;每个 testbench 结束时只输出一种终态标记:RESULT: PASS 或 RESULT: FAIL。

bash
#!/usr/bin/env bash
set -uo pipefail

mkdir -p build logs
cases=(reset nominal boundary bug_replay)
passed=0
failed=0

for case_name in "${cases[@]}"; do
  top="tb_${case_name}"
  image="build/${top}.vvp"
  compile_log="logs/${top}.compile.log"
  sim_log="logs/${top}.log"

  # 编译失败属于执行层错误,不与 testbench 的功能结果混在一起。
  if ! iverilog -g2012 -s "$top" -o "$image" rtl/*.sv "tb/${top}.sv" >"$compile_log" 2>&1; then
    printf '[ERROR] %s: compile failed, see %s\n' "$case_name" "$compile_log"
    failed=$((failed + 1))
    continue
  fi

  if ! vvp "$image" 2>&1 | tee "$sim_log"; then
    printf '[ERROR] %s: simulator returned non-zero\n' "$case_name"
    failed=$((failed + 1))
    continue
  fi

  # 功能成败只读取 testbench 的终态文本契约。
  if grep -qx 'RESULT: FAIL' "$sim_log"; then
    printf '[FAIL] %s\n' "$case_name"
    failed=$((failed + 1))
  elif grep -qx 'RESULT: PASS' "$sim_log"; then
    printf '[PASS] %s\n' "$case_name"
    passed=$((passed + 1))
  else
    printf '[FAIL] %s: result marker not found\n' "$case_name"
    failed=$((failed + 1))
  fi
done

printf 'Regression summary: %d passed, %d failed\n' "$passed" "$failed"
(( failed == 0 )) || exit 1

预期输出

text
RESULT: PASS
[PASS] reset
RESULT: PASS
[PASS] nominal
RESULT: PASS
[PASS] boundary
RESULT: PASS
[PASS] bug_replay
Regression summary: 4 passed, 0 failed

实际日志可能包含更多信息,但全通过时脚本最终返回状态码 0。若某个 testbench 打印 RESULT: FAIL,即使 vvp 本身正常退出,脚本仍会把该场景计为功能失败,并在完成汇总后返回非零状态;若编译或仿真器本身异常,则记录为执行层错误。这样既兼容前文只打印失败标记并 $finish 的模板,也能给 CI 提供稳定的进程级结果。

用关键波形复核修复

自动化通过后仍要复核原故障场景,因为有些问题来自时序窗口、未知态传播或边沿采样,只看最终输出可能漏掉中间异常。波形检查应围绕“触发条件—内部状态—输出响应”建立最短证据链,不需要截取整段仿真。

至少确认故障触发点已被覆盖,修复相关寄存器或状态机在目标边沿进入预期状态,最终输出在规定周期内稳定到正确值。如果修复前曾出现 X、Z、多余脉冲或提前/延后一个周期的响应,也应在相同时间窗口重新检查。

形成可追溯验证记录

验证记录要让后来者能够回答四个问题:出了什么问题、为什么出错、改了什么、凭什么确认已经修好。记录不必很长,但必须能关联到具体版本和证据文件。

记录项 建议内容
故障现象 触发条件、错误输出或错误时序
根因 导致故障的逻辑条件、状态迁移或时序关系
修复 修改点及其设计意图
回归结果 全部场景通过数量,例如 4/4 PASS
证据 日志 <PATH>、关键波形 <PATH>、版本 <ID>

如果回归中发现新的失败,应单独记录它与本次修复的关系:是修复引入的副作用、原来未覆盖的旧缺陷,还是测试期望本身错误。只有原故障消失、全部基线场景通过,并且日志与关键波形能够支持结论时,这次修复才算完成验证闭环。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行回归并形成验证记录

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通