TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

Bonferroni 校正算例:五个变体与校正后的 α

一个对照加五个变体的 Bonferroni 校正算例:原始与校正后的 p 值、0.01 的阈值、需要多出的流量,以及 Holm 方法为什么多保留一个赢家。

苏禾 发布于 2026 年 11 月 20 日 9 分钟阅读 数据分析
示例数据:对照组 500/10,000,五个变体各 10,000 位访客。Bonferroni 要求 p 低于 0.01,所以只有 A 通过;Holm 还保留 B(0.0123 低于 0.0125)。条形按 1 ÷ p 缩放,便于阅读。示例数据

Bonferroni 校正是把显著性水平除以比较的次数。一个对照加五个变体、α = 0.05 时,每次检验必须达到 p < 0.01。在我们的算例里,四个变体单独看都显著,校正后只有一个保留;Holm 方法保留两个。更严格阈值的代价是每组多约 49% 的流量。要在看结果之前就定好比较次数。

读完你会知道

  • 五个变体在 α = 0.05 下,至少出现一个假赢家的概率是 22.6%;Bonferroni 把每次检验设为 0.01
  • 示例里 5 个变体有 4 个是原始赢家,Bonferroni 保留 1 个,Holm 保留 2 个
  • 要检测同样的提升,更严格的阈值需要每组多约 49% 的访客

Bonferroni 校正是做什么的?

Bonferroni 校正让一整组检验里「至少出现一次假阳性」的概率保持在你选定的水平上。做法是把显著性水平除以比较的次数:校正后 α = α ÷ 比较次数。Statsig 的文档给出同样的定义:实验的显著性水平除以比较次数,可用于测试组、指标,或两者同时(Statsig)。NIST 手册用区间来表达同一个思路:每个区间按 1 − α/g 的置信水平来构造,整体置信水平至少是 1 − α(NIST)。

取 α = 0.05、比较 5 次。每个检验现在必须达到 0.05 ÷ 5 = 0.01。单看显得显著的 p = 0.03,现在不算了。这个校正防的是假阳性,并不会让一个弱的结果变强。本文余下的部分是一个完整算例、你要为此付出的样本量代价,以及何时使用的规则。想先看定义,请读 Bonferroni 校正词条;显著性本身见统计显著性。

为什么测五个变体会打破 5% 的规则

5% 的显著性水平意味着:没有真实差异的检验,每 20 次仍会有 1 次显示「显著」。检验多了,这些概率会累加;单个检验本身没有任何异常,膨胀纯粹来自看的次数。对 k 个相互独立、都没有真实差异的检验,至少出现一次假阳性的概率是 1 − (1 − α)^k:

检验次数(k)α = 0.05 时至少一次假阳性的概率Bonferroni 每次检验的 α
15.0%0.0500
314.3%0.0167
522.6%0.0100
1040.1%0.0050
2064.2%0.0025

我们用模拟验证了 5 次检验这一行:把五个并无差异的检验重复 200,000 次,在 0.05 水平下 22.5% 的运行至少出现一个「显著」结果;在每次 0.01 的水平下只有 4.9%。所以校正把整组错误率拉回到你承诺的 5% 左右。一个对照加五个变体正是这种情形:五次比较,一个检验族。同样的算术也适用于指标:一个变体上的五个指标,同样是五次比较,都要计入同一个检验族。

检验次数至少一次假阳性的概率Bonferroni 每次检验的 α
15.0%0.0500
314.3%0.0167
522.6%0.0100
1040.1%0.0050
2064.2%0.0025

相互独立、都没有真实差异的检验,α = 0.05。概率 = 1 − 0.95^k。

算例:一个对照和五个变体

示例数据:一个落地页测试,一个对照和五个新标题,每组展示给 10,000 位访客。对照组 10,000 人中有 500 人转化(5.0%)。每个变体与对照组用双侧双比例 z 检验比较。

变体转化数转化率相对提升原始 p 值0.05 下显著?Bonferroni 校正后 p(× 5)整体 0.05 下显著?
A5905.90%+18.0%0.0051是0.0253是
B5805.80%+16.0%0.0123是0.0616否
C5725.72%+14.4%0.0238是0.1190否
D5665.66%+13.2%0.0377是0.1887否
E5105.10%+2.0%0.7468否1.0000否

不校正的话,五个变体里有四个看上去是赢家。用 Bonferroni 校正后只有 A 过线:它的 p 值 0.0051 低于 0.01,等价地,5 × 0.00506 = 0.0253 低于 0.05。B、C、D 的提升看起来是真的,但一旦承认你看了五个变体,每一个的证据都不够强。

要谨慎地解读。「校正后不显著」不等于「没有效果」,只表示在整组层面不能排除偶然。B 的 16% 提升仍是当前的点估计,只是不能用同样的把握去宣称。

app.tapcub.com

各变体的原始 p 值(阈值 0.01)

示例数据,越小证据越强
A0.0051
B0.0123
C0.0238
D0.0377
E0.7468
示例数据
示例数据:对照组 500/10,000,五个变体各 10,000 位访客。Bonferroni 要求 p 低于 0.01,所以只有 A 通过;Holm 还保留 B(0.0123 低于 0.0125)。条形按 1 ÷ p 缩放,便于阅读。

校正会让样本量增加多少

阈值更严格,检测同样的提升就需要更多数据。要检测从 5.0% 升到 6.0%,检验功效 80%,双侧检验:

每次检验的 α每组所需访客含对照和 5 个变体的总量
0.05(不校正)8,15848,948
0.01(Bonferroni,5 次检验)12,13972,834

每组多出 48.8% 的流量。有两个老实的办法:收集更多访客,或者少测几个变体。上线前就把多出来的流量算进预算,因为为了省时间提前结束测试,是让结果失效的最快办法。把五个变体减到两个,每次检验的 α 只收紧到 0.025,既省流量,也降低校正成本。样本量、功效和最小可检测效应的关系见统计功效和最小可检测效应。

Holm:功效更高的校正

Bonferroni 简单但保守。Holm 逐步递减法对整组错误率给出同样的保证,而且拒绝的假设不少于 Bonferroni(Holm,1979)。把 p 值从小到大排序,第 i 小的与 α ÷ (k − i + 1) 比较,遇到第一个不满足的就停:

排名变体p 值阈值 α ÷ (5 − 排名 + 1)结论
1A0.00510.0500 ÷ 5 = 0.0100拒绝
2B0.01230.0500 ÷ 4 = 0.0125拒绝
3C0.02380.0500 ÷ 3 = 0.0167停止:不显著
4–5D、E不再检验

Holm 保留 A 和 B,而 Bonferroni 只保留 A。错误率保证一样,所以既然要校正,几乎没有理由不用 Holm。需要提前声明单一阈值,或者想在报告里用一句话说清楚时,再用朴素的 Bonferroni。两种方法都可以直接在表格软件里算出来,不需要专门的统计软件。

校正后的置信区间

如果你要报告区间,也用同样的逻辑校正。5 次比较时,整体 95% 的置信水平意味着每个区间按 1 − 0.05 ÷ 5 = 99% 来构造:

变体与对照的差(百分点)未校正 95% 区间Bonferroni 99% 区间
A+0.90+0.27 到 +1.53+0.07 到 +1.73
B+0.80+0.17 到 +1.43−0.02 到 +1.62
C+0.72+0.10 到 +1.34−0.10 到 +1.54
D+0.66+0.04 到 +1.28−0.16 到 +1.48

把校正后的区间和校正后的 p 值放在一起报告,读者就能同时看到两者。区间讲的是和 p 值一样的故事,但信息更多:A 的区间始终在零以上,B 的刚好碰到零,宽度也说明数据对提升幅度的约束有多弱。

什么时候用,什么时候不用

  1. 看结果之前先定好检验族。 数一数你会当作发现来报告的比较:一个对照对五个变体,k = 5。看完结果再数,就能悄悄把 k 压小。
  2. 校正的是主结论,不是每个数字。 如果有一个主要指标和几个次要指标,给主要指标分最大的一份。Statsig 文档里的例子给主要指标 60% 的 α:2 个主要指标各得 0.6 × 0.05 ÷ 2 = 0.015,4 个次要指标各得 0.4 × 0.05 ÷ 4 = 0.005(Statsig)。
  3. k 很大时换方法。 有几十个指标或细分时,Bonferroni 会变得非常严格。常见替代是控制错误发现率,见错误发现率。
  4. 只有一个事先计划好的检验时不要校正。 一个问题,一次检验,一个阈值。
  5. 不要事后再拆分结果。 把一个没过线的测试按国家、设备、新老访客再切一遍,会产生新的比较;每一刀都要计入 k。

会让校正失效的四个错误

  • 看了结果才选方法。 先试 Bonferroni,再试 Holm,再试不校正,留下哪个能显示出赢家的,就等于增加了比较次数。方法要在测试之前定好。
  • 只算留下来的变体。 如果你上线了五个变体,汇报前砍掉两个,k 仍然是 5,因为被砍掉的两个也看过。
  • 校正了 p 值,却没校正说法。 「校正后不显著」不等于「没有效果」。要像上面的表那样报告点估计和校正后的区间,并说明数据仍然允许的提升范围。
  • 边看边停。 每天看结果,一个变体过线那天就停,会让假阳性高于 Bonferroni 能覆盖的程度。先按成本表定好样本量,达到后再读结果。

在 TapCub 里用你自己的数据做这件事

还是上面五个变体的例子。TapCub 不做 A/B 测试,也不分流,变体分配来自你自己的代码或测试工具;TapCub 擅长的是数清每个变体做了什么。

  1. 发送带变体名的事件。 每个变体各发一个曝光事件和一个注册事件,例如 exposure_a、signup_a、exposure_b、signup_b。也可以把 variant 作为事件属性发送,再用下面的 SQL 查询台读取。
  2. 每个变体建一个漏斗。 在 全端分析 › 行为分析 › 行为分析 里,建一个从 exposure_a 到 signup_a 的漏斗,其他变体照做。漏斗默认按每个人每个会话的第一次进入计,再对人去重。
  3. 读每个变体的转化率。 每一步显示人数和相对上一步的转化率;可以把表导出为 CSV,也可以在 自定义指标与 SQL 的 SQL 查询台里按 variant 属性汇总原始事件数。
  4. 自己做校正。 漏斗给出的是计数和转化率;用 α 除以变体个数,或者做 Holm,就是上面的算术,在表格里完成。分母也要干净:TapCub 把爬虫排除在转化率所用的访客数之外。
  5. 标注变更。 在 配置 › 日期标注 里为测试开始和结束的日期添加标注,让以后的读者能把数字和测试对上。

TapCub 衡量结果;它不分配变体,不计算校正后的 p 值,也不宣布赢家。关于显著性的更多内容,见统计显著性算例和如何解读 p 值。

常见问题

用最简单的话说,Bonferroni 校正是什么?

当你同时做几个检验时,它让结论保持诚实。把显著性水平除以检验次数:α = 0.05 且做 5 次检验,每次必须 p < 0.01。这样五个检验里出现任何一个假阳性的概率仍在 5% 左右。

Bonferroni 校正怎么算?

用 α 除以比较次数:校正后 α = α ÷ k。也可以把每个 p 值乘以 k(上限为 1),再与原来的 α 比较。5 次检验、α = 0.05 时阈值是 0.01,原始 p 为 0.00506 的结果乘以 5 后是 0.0253。

什么时候不该用 Bonferroni 校正?

只有一个事先计划好的检验时不用;k 很大时也要考虑别的方法。检验很多时它会非常保守,漏掉真实效应。Holm 提供同样的保护且功效更高,几十个指标、可以容忍少量假线索时,适合控制错误发现率。

Bonferroni 是不是太保守了?

可能是。它按检验之间依赖关系的最坏情形来设定,所以真实错误率常低于目标,也可能漏掉真实效应。算例里,4 个原始赢家它保留了 1 个,Holm 保留了 2 个。代价是额外的样本量,这里每组多约 49%。

除了多个变体,多个指标也要校正吗?

只要你会据此采取行动就要。把每个当作发现来报告的比较都算进检验族,或者在测试前先把 α 分给主要和次要指标。常见做法是主要指标得 60%、次要指标得 40%,各组内部平均分。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

苏禾

数据分析师

围绕流量来源、转化漏斗与用户留存写作,重视指标口径和分析过程,用具体示例解释数字背后的问题。

用一个漏斗数清每个变体

发送带变体名的事件,在漏斗里读每个变体的转化。TapCub 负责衡量,不负责做测试。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie