TapCub 正式上线:统计、分析、客服一个平台免费用
术语表

Type II 错误是什么?定义、β 和算例

Type II 错误是漏报:差别真实存在,检验却没发现。它的概率是 β,功效等于 1 − β。一个 4.0% 对 4.6% 的算例显示每组 1,000 人时功效只有约 10%,以及多大样本才够。

陈屿 审核人 许安 又称 漏报 最后更新 2026 年 11 月 18 日 术语表

一句话回答

Type II 错误是漏报:原假设其实是错的,检验却没有拒绝它,真实存在的差别没被看见。它的概率是 β,功效等于 1 − β。样本小、效果小、显著水平定得严,都会让它升高。

公式: β = P(没有拒绝 H₀ | H₀ 为假);功效 = 1 − β

统计里的 Type II 错误是什么?

Type II 错误(Type II error)是漏报:原假设其实是错的,检验却没有拒绝它。说白了就是差别或效果真实存在,检验却没能发现。它的概率记作 β(贝塔)。统计功效是反过来的概率,即检验能发现真实差别的可能:功效 = 1 − β。

检验是一套程序,β 描述的是这套程序多常漏掉,而不是某一次结果对不对。单次实验要么漏了,要么没漏。你事先能说的是:「如果真实差别有这么大,这个规模的检验大约会漏掉这么多次。」所以 Type II 错误属于对比的规划阶段,而不只是读结果时才想的事。如果你只听过「p > 0.05,差别不显著」,这就是那句话的另一半:不显著不等于没有差别。

Type II 错误和 Type I 错误有什么区别?

两类错误是检验出错的两种方式。完整的并排讨论见 Type I 与 Type II 错误,下面的表格是简版。

差别是真的没有真实差别
检验说「有差别」正确(这就是功效,1 − β)Type I 错误,误报,概率 α
检验说「没差别」Type II 错误,漏报,概率 β正确(1 − α)

区分它们最简单的办法是看出了什么错。Type I 错误是发现了不存在的东西,Type II 错误是漏掉了存在的东西。通行的惯例是把误报率限制在 α = 0.05,对漏报则宽松得多:设计时常以 80% 功效为目标,也就是接受对计划检测的效果大小有 20% 的漏掉概率。哪种错误代价更高,取决于决策:上线一个没有作用的改动是 Type I 问题,放弃一个有效的改动是 Type II 问题。

什么会让 Type II 错误率升高?

β 由四个因素决定,其中三个在数据到来之前就掌握在你手里:

  • 效果大小。 真实差别越小,越难从随机波动里看出来。提升幅度减半,需要的样本大约翻成四倍。
  • 样本量。 每组用户越多,各自比率里的随机波动越小,更小的差别也能显现。
  • 变异程度。 结果越不稳定(比如每用户收入,有少数大额买家),需要的用户越多,比平均值相同的 是 / 否 类结果要多。
  • 显著水平 α。 要求更多证据才承认差别是真的(α 更小),漏报更容易发生。下面的例子里,α 从 0.05 降到 0.01,β 从约 90% 升到约 97%。

β、α 和样本之间是此消彼长:样本固定时,压低一类错误就会抬高另一类。要同时降低两类,只能增加数据,或使用噪声更小的指标。

算例:为什么 4.0% 对 4.6% 的检验通常什么也发现不了

示例数据:某个页面现在的转化率是 4.0%,你怀疑某个改动能把它提到 4.6%,相对提升 15%。你做均分实验,每组 1,000 名访客,在 α = 0.05(双侧、两比例 z 检验)下检验。

这个设计的功效。 真实比率为 4.0% 和 4.6% 时,原假设下的标准误是 √(2 × 0.043 × 0.957 ÷ 1,000) ≈ 0.0091,在真实比率下也约为 0.0091,而真实差别是 0.006。算下来功效约为 10.1%,也就是 β ≈ 89.9%。在这些真实比率下模拟 3,000 次重复实验,有 9.0% 得出显著结果,和计算一致。换句话说,这个检验对真实存在的 15% 提升大约十次里漏掉九次。

多少访客才够。 每组所需样本的近似公式是

n ≈ (z<sub>α/2</sub> × √(2p̄(1 − p̄)) + z<sub>β</sub> × √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₂ − p₁)²

其中 z<sub>α/2</sub> = 1.96,80% 功效对应 z<sub>β</sub> = 0.84,90% 功效对应 1.28,p̄ = 0.043。

每组访客数功效β(漏掉的概率)
1,00010.1%89.9%
2,00015.5%84.5%
5,00031.5%68.5%
10,00055.2%44.8%
13,00066.4%33.6%
20,00084.1%15.9%

要达到 80% 功效,每组需要约 17,943 名访客;90% 功效约 24,020 名。每组 1,000 名访客时,其他提升幅度的同样计算如下:

相对 4.0% 的真实比率相对提升每组 1,000 人的功效达到 80% 功效每组所需
4.6%15%10.1%17,943
5.0%25%19.0%6,745
6.0%50%53.7%1,863

「同一个」实验,对 50% 的提升是抛硬币,对 15% 的提升几乎必然漏掉。运行之前要问的不是「我有多少访客?」,而是「值得行动的最小提升是多少,我手上的流量能看到它吗?」提前定这个门槛,就是 最小可检测效应 的思路。

怎么降低 Type II 错误的概率?

按各办法常见有效的程度排序:

  1. 加大样本。 多跑几天,或把更多流量放进每组。上面的表格显示了代价:每组从 1,000 增加到 20,000,功效从 10% 升到 84%。把运行时长定为整周,让每个星期几在两组里出现的次数相同,以免星期效应混进比较。
  2. 测更大的改动。 改版后的页面比小调整更容易被检测到。把几个小调整合并成一次测试,往往比五次各自漏掉的测试更好。
  3. 选噪声更小的结果。 如果两者都能回答问题,就测转化率,而不是每位访客收入。必须用噪声大的指标时,就按更大的样本规划。
  4. 减少分组数。 同样的流量分给四个变体,每次比较只有四分之一的样本。
  5. 只在有意为之时放宽 α。 取 α = 0.10,每组 1,000 人的功效从 10.1% 升到 17.3%,但误报率也翻倍到 10%。当错误的「通过」代价低、漏掉有效改动代价高时,这是合理的选择,但它不是免费的补救。

注意什么办法不管用:每天看数据,等 p 值跌到 0.05 以下。反复查看会抬高的是 Type I 错误,那是另一个问题(见 p 值操纵)。

关于 Type II 错误,人们常犯什么错?

  • 「不显著,所以没用。」 功效只有 10% 时,即使提升是真的,不显著也是预期的结果。要报告置信区间:例子里每组 1,000 人、差 0.6 个点的区间轻易跨过 0,也涵盖大得多的效果。见 怎么计算置信区间。
  • 事后用观测到的效果去算功效。「观测功效」只是 p 值的另一种写法,没有新增信息。功效要对你计划检测的效果大小在检验之前计算。
  • 把 80% 功效当成保证。 它的意思是在计划的效果大小下有 20% 的漏掉率,对更小的效果漏掉率更高。
  • 所有问题用同一个样本。 够回答核心指标的样本,对某个分群或次要指标仍可能太小。
  • 把多次没结果直接叠加。 五次功效只有 20% 左右、各自没发现什么的测试,并不等于「测了五次,什么都没用」。把原始计数合并后检验一次,或者直接做一次更大的测试。
  • 忽略哪种错误代价更高。 如果错误的「上线」很容易撤回,就可以接受更小的样本和更高的 α;如果漏掉一个有效改动代价很高,就按 90% 而不是 80% 的功效来规划。
  • 把 β 和 p 值混为一谈。 p 值是在原假设下用你的数据算出来的;β 是在数据出现之前、针对某个具体的备择假设算的。前者的读法见 p 值,阈值怎么选见 统计显著性。

怎么用 TapCub 避开 Type II 错误?

TapCub 不做 A/B 实验,所以没有内置的检验或功效计算器。它做的是衡量规划检验所需的输入:流量和基准转化率。还是用例子里那个 4.0% 的页面。

  1. 拿到基准转化率和流量。 在 网站统计 › 目标 里,读近期该页面目标的转化数和该页面的访客数,用前者除以后者。如果基准是 4.0%,页面每周有 1,500 名访客,均分后每组每周 750 人。
  2. 按你的流量核对算术。 15% 的提升每组需要约 17,943 人,每组每周 750 人就是大约 24 周;50% 的提升每组 1,863 人,约 2.5 周。如果这个周数不现实,就测更大的改动,或者接受这个检验回答不了这个问题。
  3. 只数真人。 TapCub 把真人访客和机器人分开统计,所以爬虫不会抬高你规划用的流量,也不会稀释转化率。
  4. 在自己的工具里做检验并把变体发过来。 把实验的分组名作为事件属性发过来,每组就能被筛选出来。检验结束后,在 TapCub 里比较两组的目标转化。
  5. 把没结果读作未定论。 如果差别不显著而功效又低,就记成「在这个样本下检测不出来」,而不是「没有效果」。

另见:什么是 I 类错误(Type 1 error)?误报、α 与 p 值。

资料来源

这个解释清楚吗?

我们会根据反馈修改和补充这篇内容。

陈屿

技术工程师

专注统计代码、SDK 与接口集成文档,从接入验证到问题排查,帮助开发者更顺畅地完成实施。

常见问题

常见追问

大家看完定义后最常问的几个问题。

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

Type II 错误通俗地说是什么?

就是漏报。真实差别存在,你的检验却说没有。一家店测试了一个确实能提高转化的改动,结果不显著就放弃了,就是犯了 Type II 错误。

Type II 错误的概率是多少?

它是 β,取决于真实效果大小、样本量、变异程度和显著水平。4.0% 对 4.6% 的对比,每组 1,000 名访客、α = 0.05 时,β 约为 90%,也就是这个检验十次里漏掉九次提升。

Type II 错误和统计功效是什么关系?

功效是发现真实效果的概率,所以功效 = 1 − β。设计时常以 80% 功效为目标,即对计划检测的效果有 20% 的漏掉概率。本文的例子里,每组约 17,943 名访客才能达到 80% 功效。

怎么降低 Type II 错误?

加大样本、测更大的改动、选噪声更小的结果、不要把流量分给太多变体。放宽 α 也能降低 β,但误报率会升高,只在有意为之时这样做。

在你自己的网站上看这个数字

加一行脚本就能开始,网站和 App 都能接,几分钟内就能看到第一批报表。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie