智能合约与以太坊 / 系统课时
调整 fuzz 轮次与失败判定
调整 fuzz 轮次与失败判定
Foundry 的模糊测试可以自动生成大量输入,但执行 10000 轮不代表验证了 10000 种有效业务场景。本课通过一组可运行的 Solidity 测试,调整 runs、随机种子与拒绝次数,区分正常执行、输入过滤和真实断言失败,并判断增加轮次是否带来了有效探索。
学习目标
- 配置
runs、seed和max_test_rejects,并使用命令行临时覆盖执行参数。 - 区分有效测试、
vm.assume输入拒绝、非预期 revert 与断言失败。 - 根据有效输入比例、边界覆盖和失败反例判断是否需要增加测试轮次。
配置 fuzz 轮次与随机种子
Foundry 使用 foundry.toml 中的 [fuzz] 配置控制普通参数模糊测试。runs 表示期望完成的有效测试用例数,不是随机生成输入的总次数。
在已有 Foundry 项目的 foundry.toml 中添加以下配置,保留项目原有的其他配置:
[fuzz]
runs = 256
seed = '0x1234'
max_test_rejects = 65536三个参数分别控制不同的问题:
| 参数 | 示例值 | 实际作用 |
|---|---|---|
runs |
256 | 每个 fuzz 测试目标执行的有效用例数量 |
seed |
0x1234 |
固定随机输入生成的起点,方便重复实验 |
max_test_rejects |
65536 | 限制因输入过滤产生的拒绝次数,超过限制会使测试失败 |
seed 是十六进制字符串。同一版本、同一环境、同一配置下使用相同种子,有助于重现输入序列,但依赖或 Foundry 版本改变后,不应假定生成结果完全相同。
运行前先确认工具可用:
forge --version
forge config预期结果:第一条命令打印已安装的 Forge 版本;第二条打印解析后的项目配置。实际版本号因安装环境不同而变化。可以在配置输出中检查 fuzz 参数是否生效。
临时执行更多轮次,无需修改项目文件:
forge test --fuzz-runs 1000 --fuzz-seed 0x1234预期结果:满足执行条件的 fuzz 测试将以 1000 次有效运行作为目标;如果提前发现失败反例,测试会报告失败,而不会继续保证完成全部 1000 轮。
用可运行测试区分三类结果
先准备一个最小示例。在已安装 forge-std 的 Foundry 项目中,新建 test/FuzzDecision.t.sol:
// SPDX-License-Identifier: MIT
pragma solidity ^0.8.20;
import {Test} from "forge-std/Test.sol";
contract FuzzDecisionTest is Test {
// 所有 uint8 输入都应满足平方不小于自身。
function testFuzz_Success(uint8 amount) public pure {
uint256 value = uint256(amount);
assertTrue(value * value >= value);
}
// 仅接受业务范围内的输入,其余输入被丢弃。
function testFuzz_Filtered(uint8 amount) public {
vm.assume(amount <= 100);
assertLe(amount, 100);
}
// 故意使用错误的边界假设,展示断言失败。
function testFuzz_BrokenLimit(uint8 amount) public pure {
assertLe(amount, 100);
}
}这三个测试的行为不同:
| 测试 | 输入情况 | 判定 |
|---|---|---|
testFuzz_Success |
0~255 | 所有输入均满足断言 |
testFuzz_Filtered |
0~100 | 执行断言并计入有效用例 |
testFuzz_Filtered |
101~255 | 被 vm.assume 拒绝,重新生成输入 |
testFuzz_BrokenLimit |
101~255 | 进入断言并失败,报告反例 |
特别注意:vm.assume 拒绝的是整个测试输入,不等于合约调用发生 revert,更不是测试发现了漏洞。大量拒绝可能消耗测试预算,却没有增加有效样本。
运行前两个正常测试:
forge test --match-test 'testFuzz_(Success|Filtered)' --fuzz-runs 256 --fuzz-seed 0x1234预期结果:在未触发拒绝上限的情况下,两项测试均显示 [PASS],各自完成 256 次有效运行。终端还会显示 gas 统计及执行时间,数值取决于本地环境。
再单独运行故意失败的测试:
forge test --match-test testFuzz_BrokenLimit --fuzz-runs 256 --fuzz-seed 0x1234 -vvv预期结果:当生成大于 100 的输入时,assertLe 失败,终端显示 [FAIL] 和对应反例。失败输入的具体数值取决于随机序列,不能预设为某一个固定值。
正确识别 revert、拒绝与断言失败
模糊测试的最终结果不能只看 PASS 或 FAIL,还要检查输入是否真的进入了目标业务逻辑。
- 正常执行:输入通过前置条件,完成合约调用和测试断言,计入有效运行。
- 输入拒绝:
vm.assume判定条件为假,测试框架丢弃该输入并重新采样;拒绝过多会触发上限错误。 - 非预期 revert:合约调用或测试执行中发生未被预期处理的回滚,通常会造成普通 fuzz 测试失败。
- 断言失败:例如
assertEq、assertLe检测到实际结果违反预期,Foundry 报告失败并尝试缩小反例。
如果合约本来就应该拒绝非法操作,应明确验证预期回滚,而不是将所有 revert 都视为安全漏洞。例如测试授权检查时使用 vm.expectRevert,确认失败原因符合设计。
判断增加轮次是否有效
以 testFuzz_Filtered 为例,uint8 有 256 个可能取值,其中 0~100 共 101 个有效值。若按均匀随机抽样估算,有效输入比例为:
若目标是完成 1000 次有效运行,理论上平均需要生成约 2535 次候选输入,其中约 1535 次会被拒绝。实际生成器的取值分布可能不均匀,这只是用于理解拒绝成本的参考计算。
| 观察项目 | 256 轮 | 1000 轮 | 应关注的问题 |
|---|---|---|---|
| 目标有效执行次数 | 256 | 1000 | 执行量确实增加了吗 |
| 理论候选输入数 | 约 649 | 约 2535 | 过滤成本是否过高 |
| 理论拒绝次数 | 约 393 | 约 1535 | 是否需要优化输入生成方式 |
| 不同有效输入数 | 不保证为 256 | 不保证为 1000 | 是否重复测试相同数值 |
由于有重复输入的可能,runs 增加并不意味着不同取值的数量按比例增加。对于有限输入空间,重复率通常会随采样量增加而上升。
针对本例,更高效的做法是使用 bound 将输入映射到有效区间,避免用大量无效输入消耗拒绝预算。替换过滤测试为以下片段。
片段示例:依赖前述 FuzzDecisionTest 合约及 forge-std/Test.sol,用下面的方法替换原来的 testFuzz_Filtered。
function testFuzz_Filtered(uint256 rawAmount) public pure {
// 映射到业务允许的闭区间,避免随机输入被大量拒绝。
uint256 amount = bound(rawAmount, 0, 100);
assertLe(amount, 100);
}bound 能减少无效输入,但不能保证 101 个业务取值都至少测试一次,也不代表输入均匀分布。若目标是精确覆盖 0、1、99、100、101 等边界,应另外编写固定输入的单元测试,并将范围外输入交给拒绝行为测试。
固定种子复现并验收失败
先用固定种子运行 256 轮,再把轮次增加到 2000,对比相同测试的结果:
forge test --match-test testFuzz_Success --fuzz-runs 256 --fuzz-seed 0x1234
forge test --match-test testFuzz_Success --fuzz-runs 2000 --fuzz-seed 0x1234预期结果:两条命令均应通过,测试输出中的有效运行次数分别为 256 和 2000。执行耗时与 gas 统计可能不同。
如果出现失败,使用详细日志检查断言和反例:
forge test --match-test testFuzz_BrokenLimit --fuzz-runs 2000 --fuzz-seed 0x1234 -vvvv预期结果:错误边界断言会在触及大于 100 的输入时失败,详细日志显示失败测试的调用轨迹。Foundry 也可能保存失败反例,在后续运行中优先回放,因此复现时不仅要记录种子,还应记录工具版本、测试代码及失败输入。
验收时检查三个事实:正常测试是否达到目标运行次数;被拒绝输入是否过多;失败是否来自业务规则被违反,而不是测试前提写错。
实际项目可以从 256 轮开始,本地回归提高到 1000~2000 轮,对资金计算、份额舍入和权限边界安排更高预算。但只有当新输入触及此前未验证的状态、边界或性质时,额外轮次才真正提高缺陷发现能力。