高等数学 / 系统课时

多重检验与结果修正

多重检验与结果修正

当一次分析同时检验多个假设时,单个检验保持 5% 的显著性水平,并不代表整组结论仍只有 5% 的误报风险。本课将说明错误率为何累积,并用 Bonferroni 与 Benjamini-Hochberg 方法修正结果。

学习目标

  • 解释多重检验导致假阳性增多的原因
  • 区分家族错误率与错误发现率
  • 根据研究目标选择并实施合适的修正方法

为什么检验越多越容易误报

设每个原假设都为真,单次检验的显著性水平为 α\alpha,并近似认为各检验相互独立。进行 mm 次检验时,至少出现一次假阳性的概率为:

1−(1−α)m1-(1-\alpha)^m

当 α=0.05\alpha=0.05、m=20m=20 时,该概率约为 64%。因此,不能把二十个未经修正的 p < 0.05 当作彼此独立、整体可靠的证据。

多重检验的关键不是禁止同时分析多个指标,而是先明确哪些检验属于同一“假设家族”。同一实验中围绕同一研究问题产生的多个结局、分组或时间点,通常应放入同一家族统一控制错误率。

多重检验错误累积与修正流程

两类常用控制目标

家族错误率(FWER)关注“一组检验中至少出现一次假阳性”的概率。Bonferroni 和 Holm 方法都控制 FWER,结论较保守,适合验证性研究、主要终点分析或误报代价较高的场景。

错误发现率(FDR)关注“已拒绝假设中假阳性所占的期望比例”。Benjamini-Hochberg 方法通常比 FWER 方法保留更多发现,适合基因筛选、特征探索或大规模指标分析。

选择方法时,应先判断研究目标,而不是只比较哪一种方法能产生更多显著结果。验证性结论优先控制 FWER;探索性筛选可以控制 FDR,但报告中必须明确修正方法和假设家族。

修正方法如何工作

Bonferroni 修正将每个原始 p 值乘以检验数 mm,并把超过 1 的结果截断为 1。等价地,也可以把单次显著性阈值改为 α/m\alpha/m。它简单透明,但检验较多或指标高度相关时可能过于保守。

Benjamini-Hochberg 方法先将 p 值从小到大排序,再结合排序位置计算调整值,并从尾部保证调整后的 p 值单调不降。它控制的是 FDR,因此不能解释为“整组结果出现任意一次误报的概率不超过 5%”。

下面用纯 Python 对同一组 p 值进行两种修正:

python
def benjamini_hochberg(p_values):
    m = len(p_values)
    # 从大到小处理,保证调整后的 p 值保持单调
    indexed = sorted(enumerate(p_values), key=lambda item: item[1], reverse=True)
    adjusted = [0.0] * m
    running_min = 1.0

    for reverse_rank, (index, p_value) in enumerate(indexed, start=1):
        rank = m - reverse_rank + 1
        running_min = min(running_min, p_value * m / rank)
        adjusted[index] = min(running_min, 1.0)

    return adjusted

p_values = [0.004, 0.012, 0.03, 0.08, 0.2]
bonferroni = [min(p * len(p_values), 1.0) for p in p_values]
bh_fdr = benjamini_hochberg(p_values)

print("Bonferroni:", [round(p, 3) for p in bonferroni])
print("BH-FDR:", [round(p, 3) for p in bh_fdr])
print("Bonferroni reject:", [p <= 0.05 for p in bonferroni])
print("BH-FDR reject:", [p <= 0.05 for p in bh_fdr])

预期输出:

text
Bonferroni: [0.02, 0.06, 0.15, 0.4, 1.0]
BH-FDR: [0.02, 0.03, 0.05, 0.1, 0.2]
Bonferroni reject: [True, False, False, False, False]
BH-FDR reject: [True, True, True, False, False]

同一批原始 p 值在不同控制目标下会得到不同结论。这里 Bonferroni 只保留第一个发现,而 BH-FDR 保留前三个;这不是算法冲突,而是两种方法允许承担的整体错误风险不同。

报告结果时避免信息丢失

不要只报告“修正后显著”或“未显著”。至少应说明假设家族的范围、检验数量、修正方法、原始 p 值、修正后 p 值以及预设的显著性水平。

例如可以写:“针对 5 个共同主要指标进行 Benjamini-Hochberg 修正,在 FDR 5% 水平下,前三个指标仍达到统计显著,调整后 p 值分别为 0.020、0.030 和 0.050。”

不应在看到结果后随意拆分假设家族、删除不显著指标或更换修正方法。此类做法会重新引入选择性报告,使名义上的错误率控制失效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

多重检验与结果修正

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通