智能合约与以太坊 / 系统课时

调整 fuzz 轮次与失败判定

调整 fuzz 轮次与失败判定

Foundry 的模糊测试可以自动生成大量输入,但执行 10000 轮不代表验证了 10000 种有效业务场景。本课通过一组可运行的 Solidity 测试,调整 runs、随机种子与拒绝次数,区分正常执行、输入过滤和真实断言失败,并判断增加轮次是否带来了有效探索。

学习目标

  • 配置 runs、seed 和 max_test_rejects,并使用命令行临时覆盖执行参数。
  • 区分有效测试、vm.assume 输入拒绝、非预期 revert 与断言失败。
  • 根据有效输入比例、边界覆盖和失败反例判断是否需要增加测试轮次。

配置 fuzz 轮次与随机种子

Foundry 使用 foundry.toml 中的 [fuzz] 配置控制普通参数模糊测试。runs 表示期望完成的有效测试用例数,不是随机生成输入的总次数。

在已有 Foundry 项目的 foundry.toml 中添加以下配置,保留项目原有的其他配置:

toml
[fuzz]
runs = 256
seed = '0x1234'
max_test_rejects = 65536

三个参数分别控制不同的问题:

参数 示例值 实际作用
runs 256 每个 fuzz 测试目标执行的有效用例数量
seed 0x1234 固定随机输入生成的起点,方便重复实验
max_test_rejects 65536 限制因输入过滤产生的拒绝次数,超过限制会使测试失败

seed 是十六进制字符串。同一版本、同一环境、同一配置下使用相同种子,有助于重现输入序列,但依赖或 Foundry 版本改变后,不应假定生成结果完全相同。

运行前先确认工具可用:

bash
forge --version
forge config

预期结果:第一条命令打印已安装的 Forge 版本;第二条打印解析后的项目配置。实际版本号因安装环境不同而变化。可以在配置输出中检查 fuzz 参数是否生效。

临时执行更多轮次,无需修改项目文件:

bash
forge test --fuzz-runs 1000 --fuzz-seed 0x1234

预期结果:满足执行条件的 fuzz 测试将以 1000 次有效运行作为目标;如果提前发现失败反例,测试会报告失败,而不会继续保证完成全部 1000 轮。

用可运行测试区分三类结果

先准备一个最小示例。在已安装 forge-std 的 Foundry 项目中,新建 test/FuzzDecision.t.sol:

solidity
// SPDX-License-Identifier: MIT
pragma solidity ^0.8.20;

import {Test} from "forge-std/Test.sol";

contract FuzzDecisionTest is Test {
    // 所有 uint8 输入都应满足平方不小于自身。
    function testFuzz_Success(uint8 amount) public pure {
        uint256 value = uint256(amount);
        assertTrue(value * value >= value);
    }

    // 仅接受业务范围内的输入,其余输入被丢弃。
    function testFuzz_Filtered(uint8 amount) public {
        vm.assume(amount <= 100);
        assertLe(amount, 100);
    }

    // 故意使用错误的边界假设,展示断言失败。
    function testFuzz_BrokenLimit(uint8 amount) public pure {
        assertLe(amount, 100);
    }
}

这三个测试的行为不同:

测试 输入情况 判定
testFuzz_Success 0~255 所有输入均满足断言
testFuzz_Filtered 0~100 执行断言并计入有效用例
testFuzz_Filtered 101~255 被 vm.assume 拒绝,重新生成输入
testFuzz_BrokenLimit 101~255 进入断言并失败,报告反例

特别注意:vm.assume 拒绝的是整个测试输入,不等于合约调用发生 revert,更不是测试发现了漏洞。大量拒绝可能消耗测试预算,却没有增加有效样本。

运行前两个正常测试:

bash
forge test --match-test 'testFuzz_(Success|Filtered)' --fuzz-runs 256 --fuzz-seed 0x1234

预期结果:在未触发拒绝上限的情况下,两项测试均显示 [PASS],各自完成 256 次有效运行。终端还会显示 gas 统计及执行时间,数值取决于本地环境。

再单独运行故意失败的测试:

bash
forge test --match-test testFuzz_BrokenLimit --fuzz-runs 256 --fuzz-seed 0x1234 -vvv

预期结果:当生成大于 100 的输入时,assertLe 失败,终端显示 [FAIL] 和对应反例。失败输入的具体数值取决于随机序列,不能预设为某一个固定值。

正确识别 revert、拒绝与断言失败

模糊测试的最终结果不能只看 PASS 或 FAIL,还要检查输入是否真的进入了目标业务逻辑。

  • 正常执行:输入通过前置条件,完成合约调用和测试断言,计入有效运行。
  • 输入拒绝:vm.assume 判定条件为假,测试框架丢弃该输入并重新采样;拒绝过多会触发上限错误。
  • 非预期 revert:合约调用或测试执行中发生未被预期处理的回滚,通常会造成普通 fuzz 测试失败。
  • 断言失败:例如 assertEq、assertLe 检测到实际结果违反预期,Foundry 报告失败并尝试缩小反例。

如果合约本来就应该拒绝非法操作,应明确验证预期回滚,而不是将所有 revert 都视为安全漏洞。例如测试授权检查时使用 vm.expectRevert,确认失败原因符合设计。

判断增加轮次是否有效

以 testFuzz_Filtered 为例,uint8 有 256 个可能取值,其中 0~100 共 101 个有效值。若按均匀随机抽样估算,有效输入比例为:

p=101256≈39.45%p=\frac{101}{256}\approx39.45\%

若目标是完成 1000 次有效运行,理论上平均需要生成约 2535 次候选输入,其中约 1535 次会被拒绝。实际生成器的取值分布可能不均匀,这只是用于理解拒绝成本的参考计算。

观察项目 256 轮 1000 轮 应关注的问题
目标有效执行次数 256 1000 执行量确实增加了吗
理论候选输入数 约 649 约 2535 过滤成本是否过高
理论拒绝次数 约 393 约 1535 是否需要优化输入生成方式
不同有效输入数 不保证为 256 不保证为 1000 是否重复测试相同数值

由于有重复输入的可能,runs 增加并不意味着不同取值的数量按比例增加。对于有限输入空间,重复率通常会随采样量增加而上升。

针对本例,更高效的做法是使用 bound 将输入映射到有效区间,避免用大量无效输入消耗拒绝预算。替换过滤测试为以下片段。

片段示例:依赖前述 FuzzDecisionTest 合约及 forge-std/Test.sol,用下面的方法替换原来的 testFuzz_Filtered。

solidity
function testFuzz_Filtered(uint256 rawAmount) public pure {
    // 映射到业务允许的闭区间,避免随机输入被大量拒绝。
    uint256 amount = bound(rawAmount, 0, 100);
    assertLe(amount, 100);
}

bound 能减少无效输入,但不能保证 101 个业务取值都至少测试一次,也不代表输入均匀分布。若目标是精确覆盖 0、1、99、100、101 等边界,应另外编写固定输入的单元测试,并将范围外输入交给拒绝行为测试。

固定种子复现并验收失败

先用固定种子运行 256 轮,再把轮次增加到 2000,对比相同测试的结果:

bash
forge test --match-test testFuzz_Success --fuzz-runs 256 --fuzz-seed 0x1234
forge test --match-test testFuzz_Success --fuzz-runs 2000 --fuzz-seed 0x1234

预期结果:两条命令均应通过,测试输出中的有效运行次数分别为 256 和 2000。执行耗时与 gas 统计可能不同。

如果出现失败,使用详细日志检查断言和反例:

bash
forge test --match-test testFuzz_BrokenLimit --fuzz-runs 2000 --fuzz-seed 0x1234 -vvvv

预期结果:错误边界断言会在触及大于 100 的输入时失败,详细日志显示失败测试的调用轨迹。Foundry 也可能保存失败反例,在后续运行中优先回放,因此复现时不仅要记录种子,还应记录工具版本、测试代码及失败输入。

验收时检查三个事实:正常测试是否达到目标运行次数;被拒绝输入是否过多;失败是否来自业务规则被违反,而不是测试前提写错。

实际项目可以从 256 轮开始,本地回归提高到 1000~2000 轮,对资金计算、份额舍入和权限边界安排更高预算。但只有当新输入触及此前未验证的状态、边界或性质时,额外轮次才真正提高缺陷发现能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

调整 fuzz 轮次与失败判定

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通