Rust / 系统课时
用 shrink 找到最小失败样例
用 shrink 找到最小失败样例
随机测试真正难处理的不是“发现失败”,而是“解释失败”。shrink 会在属性测试找到反例后,持续尝试更小、更简单的输入,直到保留触发缺陷所需的最少结构,让你更容易定位边界条件。
学习目标
- 理解 shrink 为什么能把复杂反例压缩成可读样例
- 会在属性测试中观察缩减过程并定位最小反例
- 知道什么时候应保留自动缩减结果,什么时候需要人工补充固定回归测试
shrink 到底解决什么问题
假设一个函数只在较长字符串、特定字符组合下出错,随机生成器可能给出一条几百字符的失败输入。真正有价值的信息往往不是整条输入,而是“最少需要哪些字符才能触发错误”。
shrink 的核心思路就是从已失败输入出发,不再继续随机搜索,而是系统地尝试更小的候选值。只要候选仍然失败,就继续向更小的方向缩减;一旦不再失败,就保留上一个仍能复现问题的结果。
因此,shrink 通常不是“把字符串截短”这么简单。对数字可以尝试靠近边界或零,对集合可以删除元素,对结构化数据可以删除字段、缩短列表或简化嵌套对象。具体策略由测试框架和生成器类型决定。
用 proptest 观察最小反例
下面用 proptest 测试一个存在边界缺陷的函数。函数错误地把 8 个字符也视为超长输入,因此当生成器找到满足条件的字符串后,shrink 会尝试把它缩减到更短的失败样例。
use proptest::prelude::*;
fn is_valid(input: &str) -> bool {
input.len() <= 8
}
proptest! {
#[test]
fn valid_input_must_be_at_most_7_chars(s in "[a-z]{0,20}") {
prop_assert!(s.len() < 8 || is_valid(&s));
}
}预期结果
proptest: Test failed: input shrunk to a minimal failing case
minimal failing input: s = "abcdefgh"这里的测试目标是假设“长度小于 8 才符合业务约束”,而实现却允许长度为 8。随机输入可能先失败在更长字符串上,但 shrink 会逐步删除字符,最终把问题压缩到恰好能够触发断言的最小长度。实际失败报告的格式会随 proptest 版本和运行参数略有差异。
从最小反例反推缺陷边界
拿到最小反例后,先不要急着修改测试数据。比较“成功样例”和“失败样例”的最近边界通常更有价值。这个例子里,7 和 8 是直接可疑的边界,因此可以把问题转换成明确的修复规则。
fn is_valid(input: &str) -> bool {
input.len() < 8
}
fn main() {
assert!(is_valid("abcdefg"));
assert!(!is_valid("abcdefgh"));
println!("boundary check passed");
}预期结果
boundary check passed修复后,建议把 shrink 找到的最小反例转成一个稳定的回归测试。这样未来即使随机测试配置变化,最关键的边界仍然会被直接覆盖。
shrink 并不保证得到业务意义上的唯一答案
自动缩减追求的是更小且仍能复现失败的输入,而不是“最符合人类语义的案例”。复杂对象可能存在多个同样小的反例;字符串、集合或嵌套结构的缩减结果也可能与业务词汇无关。
排查时应把最小反例当作定位工具,而不是最终测试设计。确认根因后,通常需要再补一条表达业务规则的固定测试,并保留属性测试继续覆盖其他输入空间。
实际工程中,shrink 的价值在于把“一个偶然的大失败”变成“一个可以读懂、可以讨论、可以固定回归”的缺陷案例。