智能合约与以太坊 / 系统课时

分析高回滚率造成的伪覆盖

分析高回滚率造成的伪覆盖

Foundry 不变量测试即使全部通过,也可能只是随机交易大量回滚,根本没有触及关键状态。本课通过调用统计、Handler 计数器和状态变化检查,定位被无效交易淹没的操作,再调整输入约束与前置状态,让测试真正执行存取款路径。

学习目标

  • 区分随机调用次数、回滚次数与实际状态覆盖,识别伪覆盖。
  • 使用 Foundry 指标和 Handler 计数器定位低效操作。
  • 通过参数约束、状态准备和回归验证提高有效调用比例。

为什么测试通过仍可能没有覆盖业务

Foundry 的 invariant 测试会生成随机函数调用序列,并在调用后检查不变量。测试规模由 runs 和 depth 控制。一次调用即使回滚,也会消耗一个 depth 名额;默认 fail_on_revert = false 时,普通回滚通常不会直接导致测试失败。

假设资金池的 withdraw(uint256) 要求提款额不超过余额,但随机数直接覆盖整个 uint256 范围。初始余额为零,大多数提款都将失败。即使生成 4000 次调用,实际成功改变状态的可能只有少数几次。

观察下面一组示例统计数据:

Handler 操作 调用次数 回滚次数 成功次数 回滚率
deposit 1600 80 1520 5%
withdraw 1600 1520 80 95%
transfer 800 760 40 95%
合计 4000 2360 1640 59%

整体成功率为 41%,但提款和转账的有效调用比例都只有 5%~10%。即使不变量始终成立,也无法据此判断这些业务路径经过了充分测试。

读取 Foundry 的调用与回滚指标

在已有 Foundry 工程中,打开 foundry.toml,加入以下配置。这里以支持 show_metrics 的 Foundry 版本为例;可先执行 forge --version 确认本地工具版本。

toml
[invariant]
runs = 40
depth = 100
fail_on_revert = false
show_metrics = true

该配置为每个不变量生成 40 条调用序列,每条最多安排 100 次随机调用。show_metrics 用于输出 Handler 函数调用及回滚、丢弃情况的细分信息。

执行:

bash
forge test --match-test invariant_ -vv

预期结果:运行成功时,测试摘要会显示类似 runs: 40, calls: 4000, reverts: ... 的信息;启用指标后还能观察各目标函数的调用分布。实际数字随随机种子、测试逻辑和 Foundry 版本变化,不能把固定回滚数当作验收标准。

首先关注三个问题:

  1. 哪些 Handler 方法占用了大量调用次数,却极少成功?
  2. 哪些方法几乎没有被抽中,导致关键状态长期缺席?
  3. 回滚来自正常业务拒绝,还是测试准备不足,例如没有余额、授权或角色权限?

需要注意,vm.assume 丢弃输入与合约调用回滚并不相同。前者会增加输入过滤成本,后者可能消耗调用序列中的测试机会。不要把两者混为一谈。

在 Handler 中记录有效操作

系统指标只能告诉我们函数是否回滚,不能证明一次成功调用是否产生了有意义的状态变化。例如 Handler 遇到零余额后直接 return,在 Foundry 看来调用成功,但实际没有执行提款。

下面构造一个最小资金余额模型。它仅模拟账本数值,不接收或转移真实 ETH,用于隔离演示调用分布问题。将代码保存为 test/HandlerCoverage.t.sol,依赖 Foundry 工程自带的 forge-std。

solidity
// SPDX-License-Identifier: MIT
pragma solidity ^0.8.20;

import {Test} from "forge-std/Test.sol";
import {StdInvariant} from "forge-std/StdInvariant.sol";
import {console2} from "forge-std/console2.sol";

contract DemoVault {
    uint256 public balance;

    function deposit(uint256 amount) external {
        require(amount > 0, "zero deposit");
        balance += amount;
    }

    function withdraw(uint256 amount) external {
        require(amount > 0 && amount <= balance, "invalid withdrawal");
        balance -= amount;
    }
}

contract VaultHandler is Test {
    DemoVault public vault;
    uint256 public depositCalls;
    uint256 public withdrawCalls;
    uint256 public withdrawSkips;
    uint256 public deposited;
    uint256 public withdrawn;

    constructor(DemoVault target) {
        vault = target;
    }

    function deposit(uint256 rawAmount) external {
        // 把随机金额限制到模型允许的有效业务区间
        uint256 amount = bound(rawAmount, 1, 100);
        vault.deposit(amount);
        deposited += amount;
        depositCalls++;
    }

    function withdraw(uint256 rawAmount) external {
        uint256 available = vault.balance();
        if (available == 0) {
            // 成功返回不代表真的执行了业务
            withdrawSkips++;
            return;
        }

        uint256 amount = bound(rawAmount, 1, available);
        vault.withdraw(amount);
        withdrawn += amount;
        withdrawCalls++;
    }
}

contract HandlerCoverageTest is Test, StdInvariant {
    DemoVault internal vault;
    VaultHandler internal handler;

    function setUp() public {
        vault = new DemoVault();
        handler = new VaultHandler(vault);
        targetContract(address(handler));
    }

    function invariant_balanceMatchesAccounting() public view {
        assertEq(
            vault.balance() + handler.withdrawn(),
            handler.deposited()
        );
    }

    function afterInvariant() public view {
        console2.log("deposits:", handler.depositCalls());
        console2.log("withdrawals:", handler.withdrawCalls());
        console2.log("withdraw skips:", handler.withdrawSkips());
    }
}

deposited 和 withdrawn 是 Ghost Variables,即测试侧累计账本。它们不属于被测合约业务状态,却能检验余额变化是否符合预期。

afterInvariant() 在每条 invariant run 结束时调用,这里的计数器反映当前运行序列,不是全部 40 条序列的全局累计。withdrawSkips 专门记录没有真正调用资金池提款方法的情况。

运行:

bash
forge test --match-contract HandlerCoverageTest -vv

预期结果:测试通过,终端可看到 deposits:、withdrawals: 和 withdraw skips: 计数。由于序列随机,具体值每次可能不同。检查 deposits + withdrawals + withdraw skips 是否与该序列的 Handler 调用次数一致,可以验证计数没有漏项。

从指标追踪无效调用的来源

一次不变量测试的有效调用,需要经过随机选择、Handler 参数处理、协议执行和状态检查。每个阶段都可能让表面覆盖与真实覆盖产生差异。

Foundry 随机调用与 Handler 有效覆盖判定链路

实际排查时,将一次随机调用按下表分类:

现象 常见原因 优先修正方式
大量 revert 随机金额超过余额 按可用余额执行 bound
大量 skip 前置状态不足 准备余额或调整操作顺序
调用始终集中在少数函数 Target selector 分布不符合预期 显式配置目标选择器
调用成功但余额没有变化 零金额或提前返回 排除无意义参数并增加业务计数
Handler 成功但关键分支未进入 状态组合不充分 设计能够到达目标分支的操作序列

例如观测到 100 次提款 Handler 调用,其中 65 次因为余额为零而跳过、35 次成功,则 Handler 层面成功返回率为 100%,真正执行提款的比例却只有 35%。

可以定义一个辅助指标:

有效执行率=实际执行目标操作的次数Handler入口调用次数×100%有效执行率 = \frac{实际执行目标操作的次数}{Handler入口调用次数} \times 100\%

本例有效执行率为 35%。这是诊断用指标,不是 Foundry 内置的覆盖率定义,也不能替代分支覆盖或不变量正确性证明。

调整约束与状态准备方式

改善高回滚率时,不能简单删除所有失败场景。应当把合法业务序列与预期失败序列分开测试。

对于合法序列,先确保必要的状态存在,再把随机参数映射到当前允许的范围。上例的 bound(rawAmount, 1, available) 保证提款额不超过资金池余额,同时保留随机金额的变化。

如果想让提款路径更频繁地被触发,可以采用两种策略:

  1. 在 setUp() 中通过 Handler 或协议公开接口准备初始资金,例如模拟存入 1000 单位,让第一笔提款有机会成功。
  2. 在 Handler 中准备合法前置状态,例如余额为零时先执行一次合规存入,再执行提款,并分别记录准备操作和目标操作。

第一种适合测试长期持有资金的系统;第二种适合检验必须先创建账户、授权或开仓才能操作的协议。两种方法都可能改变可到达状态的分布,因此应保留独立的空余额和失败路径测试。

对预期失败场景,例如超额提款、无权限调用、暂停状态写入,应单独使用 vm.expectRevert 或专门的失败路径测试,而不是把它们全部映射成合法输入。

验证覆盖改善是否真实有效

修复后要在相同的 runs、depth、目标函数集合和可比随机种子条件下重新运行,记录变化,而不是只观察 [PASS]。

建议至少比较以下四项:

检查项目 示例修复前 示例修复后
总调用次数 4000 4000
协议回滚次数 2360 120
有效提款次数 80 950
已触达关键状态 2 种 6 种

这些数字是验收分析样例,不是前述代码的固定运行结果。真实项目必须从日志、Ghost Variables 和状态断言获得数据。

验收时依次执行:

  1. 确认高回滚操作的原因已消除,而不是被静默跳过替代。
  2. 确认关键业务操作次数确实增加,并覆盖零余额、非零余额、边界金额等状态。
  3. 使用 forge coverage 辅助检查可执行代码覆盖情况,同时理解覆盖率不能证明状态序列充分。
  4. 将异常权限、超额操作和暂停等负向场景保留为独立测试。
  5. 尝试设置 fail_on_revert = true 运行合法序列,排查剩余的非预期回滚。

回滚并非越少越好。对合法调用序列,应尽量减少由随机无效输入造成的浪费;对恶意输入和非法状态,则应明确验证预期回滚。只有调用分布、有效状态变化与失败路径都受到检查,不变量测试通过才有实际的质量意义。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分析高回滚率造成的伪覆盖

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通