TapCub 正式上线:统计、分析、客服一个平台免费用
术语表

什么是 I 类错误(Type 1 error)?误报、α 与 p 值

I 类错误就是误报:拒绝了一个成立的原假设,概率是 α。看 α 和 p 值的关系、多重检验和边看边停怎样放大它,以及怎么选门槛。

陈屿 审核人 索菲娅·贝内特 又称 Type I 错误 最后更新 2026 年 11 月 19 日 术语表

一句话回答

I 类错误就是误报:统计检验拒绝了一个其实成立的原假设,报告了并不存在的效果。它的概率等于显著性水平 α,在检验前就定好,常用 0.05。

公式: P(I 类错误) = α;m 次独立检验至少出现一次 = 1 − (1 − α)^m

什么是 I 类错误(Type 1 error)?

I 类错误就是误报:统计检验拒绝了一个其实成立的原假设,也就是宣布了一个并不存在的效果。一个毫无作用的新结账页被判成赢家;图表显示某个国家的访客转化更高,而差距只是噪声。

犯这种错误的概率就是显著性水平 α(alpha),要在看数据之前定好。α = 0.05 时,对一个成立的原假设做检验,大约每 20 次会错拒一次。Neyman 和 Pearson(1933)提出了这两种错误;另一种是漏掉真实效果,叫 II 类错误。两者并排对比见 I 类与 II 类错误的区别,本页只讲 I 类。

α 和 p 值是什么关系?

两者总被拿来互相比较,所以很容易混为一谈,但它们是两个不同的东西:一个是你事先定下的规矩,一个是数据给出的证据。

α(显著性水平)p 值
是什么事先定好的门槛由数据算出的数字
回答的问题我愿意多频繁地“谎报军情”?如果其实没有效果,这么极端的数据多久出现一次?
常见取值0.05、0.01、0.100 到 1 之间任何值
决策规则p ≤ α 就拒绝原假设要和 α 比较,不能单独解读

例子:实验得到 p = 0.03。α = 0.05 时拒绝原假设;α = 0.01 时不拒绝。数据没变,变的只是你对误报的容忍度。p 值不是原假设为真的概率,p = 0.03 也不表示“有 97% 把握效果是真的”(见 p 值和资料来源里美国统计协会的声明)。

怎么选 α?

α 是在误报和漏报之间取舍:调低它,I 类错误变少,II 类错误变多,除非同时多收数据。按“错判为有效”的代价来选。

α错判为有效大约发生适用情形
0.1010 次里 1 次改动便宜、容易撤回,而且要筛很多想法
0.0520 次里 1 次产品和营销测试的常用默认值
0.01100 次里 1 次改动成本高、难撤销,或涉及定价和安全

要让这个选择不被事后的结果左右,有两条规则。测试开始前就定 α,不要等看到结果通过了哪个门槛再选。还要写下它控制的决策:“p ≤ 0.05 且提升至少 3% 就上线新页面”。

为什么检验一多,误报就很常见?

α 只针对一次检验,它并不会自动覆盖你做的所有检验。对原假设都成立的情况做多次检验,至少出一次误报的概率会攀升。m 次独立检验、α = 0.05 时:

至少一次误报的概率 = 1 − (1 − α)^m

示例数据:在一次实际上什么都没变的测试里,你检查 20 个指标(收入、点击、跳出等)。

检验次数 (m)α = 0.05 时至少 1 次误报的概率用 Bonferroni 校正 α = 0.05 ÷ m
15.0%5.0%
522.6%4.9%
1040.1%4.9%
2064.2%4.9%

20 次检验时,预期误报个数是 20 × 0.05 = 1,至少看到一次的概率是 64.2%。Bonferroni 校正把 α 除以检验次数(0.05 ÷ 20 = 每次 0.0025),把整组的误报概率拉回 4.9%。它做法简单,但比较严格,会让真实效果更难被发现;Benjamini–Hochberg 方法改为控制“发现中误报的占比”,检验很多项时损失的检验力更少。

边看边停(偷看结果)为什么会制造误报?

盯着正在跑的测试,p 一低于 0.05 就停,是另一种形式的多重检验。在 20,000 次 A/A 模拟里(两组完全相同,等间隔看 5 次,第一次 |z| > 1.96 就停),13.9% 宣布了“赢家”,而只在最后看一次时是 5.0%。这和 Armitage 等人(1969)报告的约 14% 吻合。解决办法是事先定好样本量,到数才看结果,或者改用专门为多次查看设计的方法。

“显著的胜利”实际有多少是假的?

α 是原假设为真的那些检验里的误报率,它回答的是“没有效果时多久会误报”这个问题。它不是你宣布的胜利里假的占比,那还取决于真有效的想法有多少。

示例数据:测试 1,000 个想法,100 个真有效,900 个无效。检验力 80%,α = 0.05。

  • 真阳性:100 × 0.80 = 80。
  • 假阳性:900 × 0.05 = 45。
  • 宣布的胜利:80 + 45 = 125,其中 45 ÷ 125 = 36% 是假的。

如果 1,000 个想法里只有 20 个真有效,同样的检验给出 16 个真阳性和 49 个假阳性,75% 的胜利是假的。真实效果少见,加上门槛宽松,就会有大量虚假的“胜利”。

I 类错误在实际中长什么样?

同一种错误会出现在很多不同的场景里。每个场景的原假设都是“什么都没变”,I 类错误就是相信了相反的说法。

场景原假设I 类错误的样子代价
落地页测试新页面和旧页面转化相同因为某一周运气好就上线了新页面开发时间,以及之后真实的转化下滑
营销报表两个渠道转化相同把预算挪给了碰巧领先的渠道花在一个并不更好的渠道上
医学筛查患者没有这种病健康的人被告知检测呈阳性焦虑和后续检查
垃圾邮件过滤这封邮件是正常的一封真实邮件进了垃圾箱漏看一条消息

代价这一列说明了为什么 α 既是统计决策,也是业务决策。

I 类错误的常见误区

  • 把 p ≤ 0.05 读成“已证明”。它只表示:如果没有效果,这样的数据不寻常,仅此而已。
  • 不停切片直到出现显著。把一个结果按 10 个国家 × 10 个渠道拆开就是 100 次比较。先定好要看哪些分组,或者按看过的数量做校正。
  • 事后换指标。测试前就指定一个主要指标。
  • 把“不显著”当成“没有效果”。那是另一种风险,即 II 类错误。
  • 忽略效果大小。样本特别大时,0.1% 的提升也可能显著,但仍不值得上线。

这和你的分析数据有什么关系?

TapCub 不做实验、不分流,也不计算 p 值;它只负责衡量到底发生了什么。I 类错误的风险在于你怎么读报表,所以要在看数据之前先定规矩。

  1. 先写下问题。比如“新定价页有没有提高目标完成数?”,指定 网站统计 › 目标里的一个目标和日期范围。
  2. 标出改动。在 配置 › 日期标注里加上这次发布,让改动前后的时段界限清楚。
  3. 限制切片。把一份报表拆成很多分组(来源、国家、设备)会产生很多次比较;事先选两三个,并记下你一共看了几个。
  4. 比较同类。用 网站统计 › 来源和 受众检查两个时段的流量构成是否相近;真人和机器人是分开统计的。
  5. 分流和检验在别处做,结果在这里衡量。随机分流和显著性检验用你自己的实验工具;目标数字用 TapCub,并按上表的做法,把 α 除以你做过的比较次数。

资料来源

这个解释清楚吗?

我们会根据反馈修改和补充这篇内容。

陈屿

技术工程师

专注统计代码、SDK 与接口集成文档,从接入验证到问题排查,帮助开发者更顺畅地完成实施。

常见问题

常见追问

大家看完定义后最常问的几个问题。

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

I 类错误通俗地说是什么?

是一次虚惊:检验说有效果,其实没有。一个毫无作用的新落地页,因为随机波动看起来更好,就被判成赢家。单次检验出现这种情况的概率由显著性水平 α 决定。

I 类错误就是假阳性吗?

是。在假设检验里,假阳性和 I 类错误是同一件事:拒绝了一个成立的原假设,概率是 α。注意这是原假设为真时的错误率,不是你宣布的胜利里假的占比。

p 值就是犯 I 类错误的概率吗?

不是。α 是你事先接受的 I 类错误率;p 值是由数据算出来的:如果没有效果,这么极端的结果有多常见。p ≤ α 就拒绝原假设,α 是门槛,p 是证据。

怎样减少 I 类错误?

调低 α;测试前定好样本量和主要指标;不要在 p 刚低于门槛时就停;按比较次数做校正,比如 Bonferroni(α ÷ 检验次数)。只调低 α 而不加数据,会提高 II 类错误的风险。

在你自己的网站上看这个数字

加一行脚本就能开始,网站和 App 都能接,几分钟内就能看到第一批报表。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie