一句话回答
Type II 错误是漏报:原假设其实是错的,检验却没有拒绝它,真实存在的差别没被看见。它的概率是 β,功效等于 1 − β。样本小、效果小、显著水平定得严,都会让它升高。
公式: β = P(没有拒绝 H₀ | H₀ 为假);功效 = 1 − β
统计里的 Type II 错误是什么?
Type II 错误(Type II error)是漏报:原假设其实是错的,检验却没有拒绝它。说白了就是差别或效果真实存在,检验却没能发现。它的概率记作 β(贝塔)。统计功效是反过来的概率,即检验能发现真实差别的可能:功效 = 1 − β。
检验是一套程序,β 描述的是这套程序多常漏掉,而不是某一次结果对不对。单次实验要么漏了,要么没漏。你事先能说的是:「如果真实差别有这么大,这个规模的检验大约会漏掉这么多次。」所以 Type II 错误属于对比的规划阶段,而不只是读结果时才想的事。如果你只听过「p > 0.05,差别不显著」,这就是那句话的另一半:不显著不等于没有差别。
Type II 错误和 Type I 错误有什么区别?
两类错误是检验出错的两种方式。完整的并排讨论见 Type I 与 Type II 错误,下面的表格是简版。
| 差别是真的 | 没有真实差别 | |
|---|---|---|
| 检验说「有差别」 | 正确(这就是功效,1 − β) | Type I 错误,误报,概率 α |
| 检验说「没差别」 | Type II 错误,漏报,概率 β | 正确(1 − α) |
区分它们最简单的办法是看出了什么错。Type I 错误是发现了不存在的东西,Type II 错误是漏掉了存在的东西。通行的惯例是把误报率限制在 α = 0.05,对漏报则宽松得多:设计时常以 80% 功效为目标,也就是接受对计划检测的效果大小有 20% 的漏掉概率。哪种错误代价更高,取决于决策:上线一个没有作用的改动是 Type I 问题,放弃一个有效的改动是 Type II 问题。
什么会让 Type II 错误率升高?
β 由四个因素决定,其中三个在数据到来之前就掌握在你手里:
- 效果大小。 真实差别越小,越难从随机波动里看出来。提升幅度减半,需要的样本大约翻成四倍。
- 样本量。 每组用户越多,各自比率里的随机波动越小,更小的差别也能显现。
- 变异程度。 结果越不稳定(比如每用户收入,有少数大额买家),需要的用户越多,比平均值相同的 是 / 否 类结果要多。
- 显著水平 α。 要求更多证据才承认差别是真的(α 更小),漏报更容易发生。下面的例子里,α 从 0.05 降到 0.01,β 从约 90% 升到约 97%。
β、α 和样本之间是此消彼长:样本固定时,压低一类错误就会抬高另一类。要同时降低两类,只能增加数据,或使用噪声更小的指标。
算例:为什么 4.0% 对 4.6% 的检验通常什么也发现不了
示例数据:某个页面现在的转化率是 4.0%,你怀疑某个改动能把它提到 4.6%,相对提升 15%。你做均分实验,每组 1,000 名访客,在 α = 0.05(双侧、两比例 z 检验)下检验。
这个设计的功效。 真实比率为 4.0% 和 4.6% 时,原假设下的标准误是 √(2 × 0.043 × 0.957 ÷ 1,000) ≈ 0.0091,在真实比率下也约为 0.0091,而真实差别是 0.006。算下来功效约为 10.1%,也就是 β ≈ 89.9%。在这些真实比率下模拟 3,000 次重复实验,有 9.0% 得出显著结果,和计算一致。换句话说,这个检验对真实存在的 15% 提升大约十次里漏掉九次。
多少访客才够。 每组所需样本的近似公式是
n ≈ (z<sub>α/2</sub> × √(2p̄(1 − p̄)) + z<sub>β</sub> × √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₂ − p₁)²
其中 z<sub>α/2</sub> = 1.96,80% 功效对应 z<sub>β</sub> = 0.84,90% 功效对应 1.28,p̄ = 0.043。
| 每组访客数 | 功效 | β(漏掉的概率) |
|---|---|---|
| 1,000 | 10.1% | 89.9% |
| 2,000 | 15.5% | 84.5% |
| 5,000 | 31.5% | 68.5% |
| 10,000 | 55.2% | 44.8% |
| 13,000 | 66.4% | 33.6% |
| 20,000 | 84.1% | 15.9% |
要达到 80% 功效,每组需要约 17,943 名访客;90% 功效约 24,020 名。每组 1,000 名访客时,其他提升幅度的同样计算如下:
| 相对 4.0% 的真实比率 | 相对提升 | 每组 1,000 人的功效 | 达到 80% 功效每组所需 |
|---|---|---|---|
| 4.6% | 15% | 10.1% | 17,943 |
| 5.0% | 25% | 19.0% | 6,745 |
| 6.0% | 50% | 53.7% | 1,863 |
「同一个」实验,对 50% 的提升是抛硬币,对 15% 的提升几乎必然漏掉。运行之前要问的不是「我有多少访客?」,而是「值得行动的最小提升是多少,我手上的流量能看到它吗?」提前定这个门槛,就是 最小可检测效应 的思路。
怎么降低 Type II 错误的概率?
按各办法常见有效的程度排序:
- 加大样本。 多跑几天,或把更多流量放进每组。上面的表格显示了代价:每组从 1,000 增加到 20,000,功效从 10% 升到 84%。把运行时长定为整周,让每个星期几在两组里出现的次数相同,以免星期效应混进比较。
- 测更大的改动。 改版后的页面比小调整更容易被检测到。把几个小调整合并成一次测试,往往比五次各自漏掉的测试更好。
- 选噪声更小的结果。 如果两者都能回答问题,就测转化率,而不是每位访客收入。必须用噪声大的指标时,就按更大的样本规划。
- 减少分组数。 同样的流量分给四个变体,每次比较只有四分之一的样本。
- 只在有意为之时放宽 α。 取 α = 0.10,每组 1,000 人的功效从 10.1% 升到 17.3%,但误报率也翻倍到 10%。当错误的「通过」代价低、漏掉有效改动代价高时,这是合理的选择,但它不是免费的补救。
注意什么办法不管用:每天看数据,等 p 值跌到 0.05 以下。反复查看会抬高的是 Type I 错误,那是另一个问题(见 p 值操纵)。
关于 Type II 错误,人们常犯什么错?
- 「不显著,所以没用。」 功效只有 10% 时,即使提升是真的,不显著也是预期的结果。要报告置信区间:例子里每组 1,000 人、差 0.6 个点的区间轻易跨过 0,也涵盖大得多的效果。见 怎么计算置信区间。
- 事后用观测到的效果去算功效。「观测功效」只是 p 值的另一种写法,没有新增信息。功效要对你计划检测的效果大小在检验之前计算。
- 把 80% 功效当成保证。 它的意思是在计划的效果大小下有 20% 的漏掉率,对更小的效果漏掉率更高。
- 所有问题用同一个样本。 够回答核心指标的样本,对某个分群或次要指标仍可能太小。
- 把多次没结果直接叠加。 五次功效只有 20% 左右、各自没发现什么的测试,并不等于「测了五次,什么都没用」。把原始计数合并后检验一次,或者直接做一次更大的测试。
- 忽略哪种错误代价更高。 如果错误的「上线」很容易撤回,就可以接受更小的样本和更高的 α;如果漏掉一个有效改动代价很高,就按 90% 而不是 80% 的功效来规划。
- 把 β 和 p 值混为一谈。 p 值是在原假设下用你的数据算出来的;β 是在数据出现之前、针对某个具体的备择假设算的。前者的读法见 p 值,阈值怎么选见 统计显著性。
怎么用 TapCub 避开 Type II 错误?
TapCub 不做 A/B 实验,所以没有内置的检验或功效计算器。它做的是衡量规划检验所需的输入:流量和基准转化率。还是用例子里那个 4.0% 的页面。
- 拿到基准转化率和流量。 在 网站统计 › 目标 里,读近期该页面目标的转化数和该页面的访客数,用前者除以后者。如果基准是 4.0%,页面每周有 1,500 名访客,均分后每组每周 750 人。
- 按你的流量核对算术。 15% 的提升每组需要约 17,943 人,每组每周 750 人就是大约 24 周;50% 的提升每组 1,863 人,约 2.5 周。如果这个周数不现实,就测更大的改动,或者接受这个检验回答不了这个问题。
- 只数真人。 TapCub 把真人访客和机器人分开统计,所以爬虫不会抬高你规划用的流量,也不会稀释转化率。
- 在自己的工具里做检验并把变体发过来。 把实验的分组名作为事件属性发过来,每组就能被筛选出来。检验结束后,在 TapCub 里比较两组的目标转化。
- 把没结果读作未定论。 如果差别不显著而功效又低,就记成「在这个样本下检测不出来」,而不是「没有效果」。
另见:什么是 I 类错误(Type 1 error)?误报、α 与 p 值。
资料来源
- NIST/SEMATECH 统计方法电子手册,7.1.3. What are statistical tests?(假设、Type I 和 Type II 错误、显著水平、功效)。
- NIST/SEMATECH 统计方法电子手册,7.3.3. How can we determine whether two processes produce the same proportion of defectives?(算例使用的两比例检验)。
- Neyman, J., & Pearson, E. S. (1933). On the Problem of the Most Efficient Tests of Statistical Hypotheses. Philosophical Transactions of the Royal Society A, 231, 289–337。
- Greenland, S., et al. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31, 337–350。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
