什么是 Bonferroni 校正？公式、例子和替代方法

什么是 Bonferroni 校正？

Bonferroni 校正用来应对同时做很多次统计检验的情况。如果你检验了 m 样东西，只有满足下面条件的结果才算显著：

p < α / m

按常用的 α = 0.05、做 10 次检验，每次检验要达到 p < 0.005。等价的做法是把每个 p 值乘以 m（不超过 1），再和 0.05 比。

为什么多重比较是个问题

在什么都没发生的情况下，每次 α = 0.05 的检验都有 5% 的概率出现假阳性。这些概率会累积：

（按 1 − 0.95^m 计算，假设各检验相互独立）

把看板切成 20 种维度（「按国家、设备、浏览器、来源……看转化」），再汇报看起来不一样的那个切片，就是这种情况。Bonferroni 校正控制的是族错误率，也就是整组检验里出现任何一个假阳性的概率，让它不超过 α。

计算示例

检验 5 个分群的转化有没有变化。α = 0.05，Bonferroni 门槛是 0.05 / 5 = 0.01。

如果不做任何校正，五个里会有四个被判为显著。

Holm 法：同样的保证，更高的检出力

Holm–Bonferroni 法把 p 值从小到大排序，把第 k 小的和 α / (m − k + 1) 比较，遇到第一个不通过的就停。它控制同样的族错误率，找到的结果从不少于普通 Bonferroni；在上面的例子里，它把分群 B 也保留了下来。

Bonferroni 和错误发现率（FDR）

在 TapCub 里

TapCub 不做显著性检验，但每张报表都很容易引出多重比较：筛选、拆分和分群能让你几分钟内看几十个切片。事先想好哪个比较回答你的问题；如果之后又扫了很多切片，把意外的发现当作假设，先做校正（或者换一个新的日期范围再验证一次）再行动。检验本身见 t 检验和统计显著性。

另见：什么是错误发现率？Benjamini-Hochberg 校正详解。