高等数学 / 系统课时
多重检验与结果修正
多重检验与结果修正
当一次分析同时检验多个假设时,单个检验保持 5% 的显著性水平,并不代表整组结论仍只有 5% 的误报风险。本课将说明错误率为何累积,并用 Bonferroni 与 Benjamini-Hochberg 方法修正结果。
学习目标
- 解释多重检验导致假阳性增多的原因
- 区分家族错误率与错误发现率
- 根据研究目标选择并实施合适的修正方法
为什么检验越多越容易误报
设每个原假设都为真,单次检验的显著性水平为 ,并近似认为各检验相互独立。进行 次检验时,至少出现一次假阳性的概率为:
当 、 时,该概率约为 64%。因此,不能把二十个未经修正的 p < 0.05 当作彼此独立、整体可靠的证据。
多重检验的关键不是禁止同时分析多个指标,而是先明确哪些检验属于同一“假设家族”。同一实验中围绕同一研究问题产生的多个结局、分组或时间点,通常应放入同一家族统一控制错误率。

两类常用控制目标
家族错误率(FWER)关注“一组检验中至少出现一次假阳性”的概率。Bonferroni 和 Holm 方法都控制 FWER,结论较保守,适合验证性研究、主要终点分析或误报代价较高的场景。
错误发现率(FDR)关注“已拒绝假设中假阳性所占的期望比例”。Benjamini-Hochberg 方法通常比 FWER 方法保留更多发现,适合基因筛选、特征探索或大规模指标分析。
选择方法时,应先判断研究目标,而不是只比较哪一种方法能产生更多显著结果。验证性结论优先控制 FWER;探索性筛选可以控制 FDR,但报告中必须明确修正方法和假设家族。
修正方法如何工作
Bonferroni 修正将每个原始 p 值乘以检验数 ,并把超过 1 的结果截断为 1。等价地,也可以把单次显著性阈值改为 。它简单透明,但检验较多或指标高度相关时可能过于保守。
Benjamini-Hochberg 方法先将 p 值从小到大排序,再结合排序位置计算调整值,并从尾部保证调整后的 p 值单调不降。它控制的是 FDR,因此不能解释为“整组结果出现任意一次误报的概率不超过 5%”。
下面用纯 Python 对同一组 p 值进行两种修正:
def benjamini_hochberg(p_values):
m = len(p_values)
# 从大到小处理,保证调整后的 p 值保持单调
indexed = sorted(enumerate(p_values), key=lambda item: item[1], reverse=True)
adjusted = [0.0] * m
running_min = 1.0
for reverse_rank, (index, p_value) in enumerate(indexed, start=1):
rank = m - reverse_rank + 1
running_min = min(running_min, p_value * m / rank)
adjusted[index] = min(running_min, 1.0)
return adjusted
p_values = [0.004, 0.012, 0.03, 0.08, 0.2]
bonferroni = [min(p * len(p_values), 1.0) for p in p_values]
bh_fdr = benjamini_hochberg(p_values)
print("Bonferroni:", [round(p, 3) for p in bonferroni])
print("BH-FDR:", [round(p, 3) for p in bh_fdr])
print("Bonferroni reject:", [p <= 0.05 for p in bonferroni])
print("BH-FDR reject:", [p <= 0.05 for p in bh_fdr])预期输出:
Bonferroni: [0.02, 0.06, 0.15, 0.4, 1.0]
BH-FDR: [0.02, 0.03, 0.05, 0.1, 0.2]
Bonferroni reject: [True, False, False, False, False]
BH-FDR reject: [True, True, True, False, False]同一批原始 p 值在不同控制目标下会得到不同结论。这里 Bonferroni 只保留第一个发现,而 BH-FDR 保留前三个;这不是算法冲突,而是两种方法允许承担的整体错误风险不同。
报告结果时避免信息丢失
不要只报告“修正后显著”或“未显著”。至少应说明假设家族的范围、检验数量、修正方法、原始 p 值、修正后 p 值以及预设的显著性水平。
例如可以写:“针对 5 个共同主要指标进行 Benjamini-Hochberg 修正,在 FDR 5% 水平下,前三个指标仍达到统计显著,调整后 p 值分别为 0.020、0.030 和 0.050。”
不应在看到结果后随意拆分假设家族、删除不显著指标或更换修正方法。此类做法会重新引入选择性报告,使名义上的错误率控制失效。