智能合约与以太坊 / 系统课时

保存失败种子与回归测试

保存失败种子与回归测试

模糊测试发现漏洞后,只保存一张失败日志截图远远不够。本课使用 Foundry 保存随机种子、失败输入和确定性回归用例,演示如何让同一个缺陷在修复前稳定失败、修复后稳定通过,并在持续集成中长期检查。

学习目标

  • 区分随机种子、失败反例和持久化失败记录的作用。
  • 使用 Foundry 重放失败输入,并编写不依赖随机性的回归测试。
  • 建立修复前失败、修复后通过的验收证据,并接入 CI。

分清三种复现证据

Foundry 的模糊测试会为带参数的测试函数生成输入。出现失败时,应同时记录随机种子、实际反例和测试环境,而不是只保存一个数字。

证据 示例 作用与限制
随机种子 `0x1234` 控制随机输入生成过程;需要结合测试版本和配置复现
失败反例 `amount = 101` 固定触发问题的具体输入,可直接写成单元测试
失败缓存 `~/.foundry/cache/fuzz/failures` 供 Forge 后续重放失败案例;依赖本地缓存是否保留
环境信息 编译器版本、Forge 版本、Git 提交 用来排除代码与工具链变化造成的复现差异

`--fuzz-seed` 并不等于锁定某一次失败调用。即使种子相同,修改测试顺序、约束、代码或运行配置,也可能改变最终生成的反例。因此,**长期回归证据应以固定输入的测试函数为主,随机种子和失败缓存为辅**。

Foundry 支持 `forge test --rerun` 重新执行上一次记录的失败测试,也会持久化模糊测试反例并在后续测试中优先重放。但缓存可能随着环境清理而丢失,不能替代提交到版本库的回归测试。

构造一个可以复现的失败

下面使用 Solidity `0.8.24` 和 Foundry 标准测试库 `forge-std`。假设积分合约规定单次奖励最多为 100,却错误地把上限写成 101。我们希望发现并保留这个边界错误。

在已经执行 `forge init` 的工程中,新建 `test/Reward.t.sol`,先放入存在漏洞的实现和测试:

solidity
// SPDX-License-Identifier: MIT
pragma solidity ^0.8.24;

import {Test} from "forge-std/Test.sol";

contract Reward {
    uint256 public total;

    function grant(uint256 amount) external {
        // 故意保留边界错误:101 本应被拒绝
        require(amount <= 101, "too much");
        total += amount;
    }
}

contract RewardTest is Test {
    Reward internal reward;

    function setUp() public {
        reward = new Reward();
    }

    function testFuzz_GrantLimit(uint256 amount) public {
        vm.assume(amount <= 102);
        if (amount > 100) {
            vm.expectRevert(bytes("too much"));
            reward.grant(amount);
        } else {
            reward.grant(amount);
            assertEq(reward.total(), amount);
        }
    }
}

测试断言的是产品规则:输入不超过 100 时允许发奖,超过 100 时必须回滚。`vm.assume` 把本次实验限制在 0~102,但大量随机输入可能被丢弃,因此这里专门将模糊测试运行次数和拒绝上限调高。实际项目应优先使用 `bound` 限定数值范围,以减少无效样本。

在项目根目录执行:

bash
forge test --match-test testFuzz_GrantLimit --fuzz-seed 0x1234 --fuzz-runs 1000 -vv

预期结果:此测试应暴露 `amount = 101` 对应的边界错误;具体反例展示格式、运行次数和是否先遇到其他错误,取决于 Foundry 版本与测试配置。由于 `vm.assume` 拒绝率很高,也可能先触发拒绝次数上限,不能保证上述命令在默认配置下找到反例。因此建议先给 `foundry.toml` 增加以下配置:

toml
[fuzz]
runs = 1000
max_test_rejects = 1000000
seed = "0x1234"

这份配置的作用是固定随机种子并提高允许拒绝的输入数。需要注意,若被拒绝的样本数量仍超出限制,测试会中止,而不是报告目标边界漏洞。提高拒绝上限只适用于定位实验,不能代替优化输入生成方式。

保存反例并转成确定性回归测试

发现失败后,在缺陷单中保留测试函数、Git 提交、完整命令、Forge 版本和控制台反例。工具版本可用以下命令获取:

bash
forge --version

预期输出是包含 Forge 版本与构建信息的一行文本,具体版本号因安装环境而异。

最重要的一步,是将反例 `101` 固化为具名测试。把下面的方法添加到同一个 `RewardTest` 合约中:

solidity
function testRegression_Reject101() public {
    // 将随机发现的最小边界反例固定下来
    vm.expectRevert(bytes("too much"));
    reward.grant(101);
}

这是片段示例,依赖前面定义的 `RewardTest`、`setUp` 和 `Reward`。由于每个测试都会重新执行 `setUp`,固定回归测试不受其他测试修改合约状态的影响。

执行确定性测试:

bash
forge test --match-test testRegression_Reject101 -vv

预期结果:修复前该用例为 `FAIL`,因为错误实现允许 `101` 并没有按照预期回滚。这个失败就是可验证的漏洞证据,不依赖随机种子或历史缓存。

随后把 `Reward.grant` 中的条件修复为:

solidity
require(amount <= 100, "too much");

此处是片段示例,替换原函数内的 `require`,其他代码保持不变。重新运行同一个测试后,预期结果为 `PASS`。再执行完整测试集,确认边界修复没有破坏合法奖励。

把修复前后证据交给持续集成

团队应把确定性回归测试提交到 Git,并要求每次提交都执行它。这样即使 CI 使用全新的运行器,没有本地失败缓存,也能检查已修复的漏洞是否重新出现。

推荐的缺陷记录至少包含以下内容:

字段 本例记录
缺陷 奖励上限存在差一错误
失败输入 `amount = 101`
随机种子 `0x1234`
回归测试 `testRegression_Reject101`
修复位置 `Reward.grant`
修复前验收 固定回归测试失败
修复后验收 固定回归测试通过、完整测试集通过

在 GitHub Actions 中,可以使用以下最小工作流。前提是仓库已经包含 Foundry 工程和可解析的依赖;正式项目应将 Foundry 工具链固定到经过验证的版本或提交,而不是长期依赖默认版本。

yaml
name: Contract regression
on: [push, pull_request]

jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: foundry-rs/foundry-toolchain@v1
        with:
          version: stable
      - name: Run regression and fuzz tests
        run: forge test --fuzz-seed 0x1234 --fuzz-runs 1000

这里 `version: stable` 适合演示,但生产仓库应改成团队锁定的工具链版本。预期结果是所有测试通过时工作流成功;固定回归测试或模糊测试失败时,`forge test` 返回非零退出码,工作流失败。

随机种子可以用于重复执行某次模糊测试活动,但不应永远只跑一个种子。更实用的分工是:每次提交执行所有确定性回归测试和固定种子的短轮模糊测试,定时任务再使用其他种子与更高运行次数扩大覆盖面。

避免出现修过一次又无法复现的问题

模糊测试不稳定时,先判断失败是输入随机性还是外部环境变化造成的。可以按下面顺序定位:

  1. 只运行目标测试,指定同一个种子和运行次数,连续执行三次。
  2. 记录 Forge 与 Solidity 编译器版本,确认所用 Git 提交一致。
  3. 检查测试是否读取区块时间、区块高度、外部 RPC 状态或环境变量。
  4. 检查测试间是否存在共享文件、外部服务或其他非隔离资源。
  5. 将已确认的反例改写为固定输入,并去掉与缺陷无关的随机条件。

对于使用 fork 的测试,还应固定 RPC 网络及区块高度,避免链上最新状态变化使历史缺陷无法复现。不要因为某次随机运行通过,就关闭尚未转成确定性测试的缺陷。

最终验收标准很具体:同一个固定输入在漏洞版本失败,在修复版本通过;回归测试已进入版本库;CI 无需依赖开发者本地缓存即可重复验证。这三项同时满足,才能把一次随机发现变成长期有效的回归证据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

保存失败种子与回归测试

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通