智能合约与以太坊 / 系统课时
保存失败种子与回归测试
保存失败种子与回归测试
模糊测试发现漏洞后,只保存一张失败日志截图远远不够。本课使用 Foundry 保存随机种子、失败输入和确定性回归用例,演示如何让同一个缺陷在修复前稳定失败、修复后稳定通过,并在持续集成中长期检查。
学习目标
- 区分随机种子、失败反例和持久化失败记录的作用。
- 使用 Foundry 重放失败输入,并编写不依赖随机性的回归测试。
- 建立修复前失败、修复后通过的验收证据,并接入 CI。
分清三种复现证据
Foundry 的模糊测试会为带参数的测试函数生成输入。出现失败时,应同时记录随机种子、实际反例和测试环境,而不是只保存一个数字。
| 证据 | 示例 | 作用与限制 |
|---|---|---|
| 随机种子 | `0x1234` | 控制随机输入生成过程;需要结合测试版本和配置复现 |
| 失败反例 | `amount = 101` | 固定触发问题的具体输入,可直接写成单元测试 |
| 失败缓存 | `~/.foundry/cache/fuzz/failures` | 供 Forge 后续重放失败案例;依赖本地缓存是否保留 |
| 环境信息 | 编译器版本、Forge 版本、Git 提交 | 用来排除代码与工具链变化造成的复现差异 |
`--fuzz-seed` 并不等于锁定某一次失败调用。即使种子相同,修改测试顺序、约束、代码或运行配置,也可能改变最终生成的反例。因此,**长期回归证据应以固定输入的测试函数为主,随机种子和失败缓存为辅**。
Foundry 支持 `forge test --rerun` 重新执行上一次记录的失败测试,也会持久化模糊测试反例并在后续测试中优先重放。但缓存可能随着环境清理而丢失,不能替代提交到版本库的回归测试。
构造一个可以复现的失败
下面使用 Solidity `0.8.24` 和 Foundry 标准测试库 `forge-std`。假设积分合约规定单次奖励最多为 100,却错误地把上限写成 101。我们希望发现并保留这个边界错误。
在已经执行 `forge init` 的工程中,新建 `test/Reward.t.sol`,先放入存在漏洞的实现和测试:
// SPDX-License-Identifier: MIT
pragma solidity ^0.8.24;
import {Test} from "forge-std/Test.sol";
contract Reward {
uint256 public total;
function grant(uint256 amount) external {
// 故意保留边界错误:101 本应被拒绝
require(amount <= 101, "too much");
total += amount;
}
}
contract RewardTest is Test {
Reward internal reward;
function setUp() public {
reward = new Reward();
}
function testFuzz_GrantLimit(uint256 amount) public {
vm.assume(amount <= 102);
if (amount > 100) {
vm.expectRevert(bytes("too much"));
reward.grant(amount);
} else {
reward.grant(amount);
assertEq(reward.total(), amount);
}
}
}测试断言的是产品规则:输入不超过 100 时允许发奖,超过 100 时必须回滚。`vm.assume` 把本次实验限制在 0~102,但大量随机输入可能被丢弃,因此这里专门将模糊测试运行次数和拒绝上限调高。实际项目应优先使用 `bound` 限定数值范围,以减少无效样本。
在项目根目录执行:
forge test --match-test testFuzz_GrantLimit --fuzz-seed 0x1234 --fuzz-runs 1000 -vv预期结果:此测试应暴露 `amount = 101` 对应的边界错误;具体反例展示格式、运行次数和是否先遇到其他错误,取决于 Foundry 版本与测试配置。由于 `vm.assume` 拒绝率很高,也可能先触发拒绝次数上限,不能保证上述命令在默认配置下找到反例。因此建议先给 `foundry.toml` 增加以下配置:
[fuzz]
runs = 1000
max_test_rejects = 1000000
seed = "0x1234"这份配置的作用是固定随机种子并提高允许拒绝的输入数。需要注意,若被拒绝的样本数量仍超出限制,测试会中止,而不是报告目标边界漏洞。提高拒绝上限只适用于定位实验,不能代替优化输入生成方式。
保存反例并转成确定性回归测试
发现失败后,在缺陷单中保留测试函数、Git 提交、完整命令、Forge 版本和控制台反例。工具版本可用以下命令获取:
forge --version预期输出是包含 Forge 版本与构建信息的一行文本,具体版本号因安装环境而异。
最重要的一步,是将反例 `101` 固化为具名测试。把下面的方法添加到同一个 `RewardTest` 合约中:
function testRegression_Reject101() public {
// 将随机发现的最小边界反例固定下来
vm.expectRevert(bytes("too much"));
reward.grant(101);
}这是片段示例,依赖前面定义的 `RewardTest`、`setUp` 和 `Reward`。由于每个测试都会重新执行 `setUp`,固定回归测试不受其他测试修改合约状态的影响。
执行确定性测试:
forge test --match-test testRegression_Reject101 -vv预期结果:修复前该用例为 `FAIL`,因为错误实现允许 `101` 并没有按照预期回滚。这个失败就是可验证的漏洞证据,不依赖随机种子或历史缓存。
随后把 `Reward.grant` 中的条件修复为:
require(amount <= 100, "too much");此处是片段示例,替换原函数内的 `require`,其他代码保持不变。重新运行同一个测试后,预期结果为 `PASS`。再执行完整测试集,确认边界修复没有破坏合法奖励。
把修复前后证据交给持续集成
团队应把确定性回归测试提交到 Git,并要求每次提交都执行它。这样即使 CI 使用全新的运行器,没有本地失败缓存,也能检查已修复的漏洞是否重新出现。
推荐的缺陷记录至少包含以下内容:
| 字段 | 本例记录 |
|---|---|
| 缺陷 | 奖励上限存在差一错误 |
| 失败输入 | `amount = 101` |
| 随机种子 | `0x1234` |
| 回归测试 | `testRegression_Reject101` |
| 修复位置 | `Reward.grant` |
| 修复前验收 | 固定回归测试失败 |
| 修复后验收 | 固定回归测试通过、完整测试集通过 |
在 GitHub Actions 中,可以使用以下最小工作流。前提是仓库已经包含 Foundry 工程和可解析的依赖;正式项目应将 Foundry 工具链固定到经过验证的版本或提交,而不是长期依赖默认版本。
name: Contract regression
on: [push, pull_request]
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: foundry-rs/foundry-toolchain@v1
with:
version: stable
- name: Run regression and fuzz tests
run: forge test --fuzz-seed 0x1234 --fuzz-runs 1000这里 `version: stable` 适合演示,但生产仓库应改成团队锁定的工具链版本。预期结果是所有测试通过时工作流成功;固定回归测试或模糊测试失败时,`forge test` 返回非零退出码,工作流失败。
随机种子可以用于重复执行某次模糊测试活动,但不应永远只跑一个种子。更实用的分工是:每次提交执行所有确定性回归测试和固定种子的短轮模糊测试,定时任务再使用其他种子与更高运行次数扩大覆盖面。
避免出现修过一次又无法复现的问题
模糊测试不稳定时,先判断失败是输入随机性还是外部环境变化造成的。可以按下面顺序定位:
- 只运行目标测试,指定同一个种子和运行次数,连续执行三次。
- 记录 Forge 与 Solidity 编译器版本,确认所用 Git 提交一致。
- 检查测试是否读取区块时间、区块高度、外部 RPC 状态或环境变量。
- 检查测试间是否存在共享文件、外部服务或其他非隔离资源。
- 将已确认的反例改写为固定输入,并去掉与缺陷无关的随机条件。
对于使用 fork 的测试,还应固定 RPC 网络及区块高度,避免链上最新状态变化使历史缺陷无法复现。不要因为某次随机运行通过,就关闭尚未转成确定性测试的缺陷。
最终验收标准很具体:同一个固定输入在漏洞版本失败,在修复版本通过;回归测试已进入版本库;CI 无需依赖开发者本地缓存即可重复验证。这三项同时满足,才能把一次随机发现变成长期有效的回归证据。