一句话回答
I 类错误就是误报:统计检验拒绝了一个其实成立的原假设,报告了并不存在的效果。它的概率等于显著性水平 α,在检验前就定好,常用 0.05。
公式: P(I 类错误) = α;m 次独立检验至少出现一次 = 1 − (1 − α)^m
什么是 I 类错误(Type 1 error)?
I 类错误就是误报:统计检验拒绝了一个其实成立的原假设,也就是宣布了一个并不存在的效果。一个毫无作用的新结账页被判成赢家;图表显示某个国家的访客转化更高,而差距只是噪声。
犯这种错误的概率就是显著性水平 α(alpha),要在看数据之前定好。α = 0.05 时,对一个成立的原假设做检验,大约每 20 次会错拒一次。Neyman 和 Pearson(1933)提出了这两种错误;另一种是漏掉真实效果,叫 II 类错误。两者并排对比见 I 类与 II 类错误的区别,本页只讲 I 类。
α 和 p 值是什么关系?
两者总被拿来互相比较,所以很容易混为一谈,但它们是两个不同的东西:一个是你事先定下的规矩,一个是数据给出的证据。
| α(显著性水平) | p 值 | |
|---|---|---|
| 是什么 | 事先定好的门槛 | 由数据算出的数字 |
| 回答的问题 | 我愿意多频繁地“谎报军情”? | 如果其实没有效果,这么极端的数据多久出现一次? |
| 常见取值 | 0.05、0.01、0.10 | 0 到 1 之间任何值 |
| 决策规则 | p ≤ α 就拒绝原假设 | 要和 α 比较,不能单独解读 |
例子:实验得到 p = 0.03。α = 0.05 时拒绝原假设;α = 0.01 时不拒绝。数据没变,变的只是你对误报的容忍度。p 值不是原假设为真的概率,p = 0.03 也不表示“有 97% 把握效果是真的”(见 p 值和资料来源里美国统计协会的声明)。
怎么选 α?
α 是在误报和漏报之间取舍:调低它,I 类错误变少,II 类错误变多,除非同时多收数据。按“错判为有效”的代价来选。
| α | 错判为有效大约发生 | 适用情形 |
|---|---|---|
| 0.10 | 10 次里 1 次 | 改动便宜、容易撤回,而且要筛很多想法 |
| 0.05 | 20 次里 1 次 | 产品和营销测试的常用默认值 |
| 0.01 | 100 次里 1 次 | 改动成本高、难撤销,或涉及定价和安全 |
要让这个选择不被事后的结果左右,有两条规则。测试开始前就定 α,不要等看到结果通过了哪个门槛再选。还要写下它控制的决策:“p ≤ 0.05 且提升至少 3% 就上线新页面”。
为什么检验一多,误报就很常见?
α 只针对一次检验,它并不会自动覆盖你做的所有检验。对原假设都成立的情况做多次检验,至少出一次误报的概率会攀升。m 次独立检验、α = 0.05 时:
至少一次误报的概率 = 1 − (1 − α)^m
示例数据:在一次实际上什么都没变的测试里,你检查 20 个指标(收入、点击、跳出等)。
| 检验次数 (m) | α = 0.05 时至少 1 次误报的概率 | 用 Bonferroni 校正 α = 0.05 ÷ m |
|---|---|---|
| 1 | 5.0% | 5.0% |
| 5 | 22.6% | 4.9% |
| 10 | 40.1% | 4.9% |
| 20 | 64.2% | 4.9% |
20 次检验时,预期误报个数是 20 × 0.05 = 1,至少看到一次的概率是 64.2%。Bonferroni 校正把 α 除以检验次数(0.05 ÷ 20 = 每次 0.0025),把整组的误报概率拉回 4.9%。它做法简单,但比较严格,会让真实效果更难被发现;Benjamini–Hochberg 方法改为控制“发现中误报的占比”,检验很多项时损失的检验力更少。
边看边停(偷看结果)为什么会制造误报?
盯着正在跑的测试,p 一低于 0.05 就停,是另一种形式的多重检验。在 20,000 次 A/A 模拟里(两组完全相同,等间隔看 5 次,第一次 |z| > 1.96 就停),13.9% 宣布了“赢家”,而只在最后看一次时是 5.0%。这和 Armitage 等人(1969)报告的约 14% 吻合。解决办法是事先定好样本量,到数才看结果,或者改用专门为多次查看设计的方法。
“显著的胜利”实际有多少是假的?
α 是原假设为真的那些检验里的误报率,它回答的是“没有效果时多久会误报”这个问题。它不是你宣布的胜利里假的占比,那还取决于真有效的想法有多少。
示例数据:测试 1,000 个想法,100 个真有效,900 个无效。检验力 80%,α = 0.05。
- 真阳性:100 × 0.80 = 80。
- 假阳性:900 × 0.05 = 45。
- 宣布的胜利:80 + 45 = 125,其中 45 ÷ 125 = 36% 是假的。
如果 1,000 个想法里只有 20 个真有效,同样的检验给出 16 个真阳性和 49 个假阳性,75% 的胜利是假的。真实效果少见,加上门槛宽松,就会有大量虚假的“胜利”。
I 类错误在实际中长什么样?
同一种错误会出现在很多不同的场景里。每个场景的原假设都是“什么都没变”,I 类错误就是相信了相反的说法。
| 场景 | 原假设 | I 类错误的样子 | 代价 |
|---|---|---|---|
| 落地页测试 | 新页面和旧页面转化相同 | 因为某一周运气好就上线了新页面 | 开发时间,以及之后真实的转化下滑 |
| 营销报表 | 两个渠道转化相同 | 把预算挪给了碰巧领先的渠道 | 花在一个并不更好的渠道上 |
| 医学筛查 | 患者没有这种病 | 健康的人被告知检测呈阳性 | 焦虑和后续检查 |
| 垃圾邮件过滤 | 这封邮件是正常的 | 一封真实邮件进了垃圾箱 | 漏看一条消息 |
代价这一列说明了为什么 α 既是统计决策,也是业务决策。
I 类错误的常见误区
- 把 p ≤ 0.05 读成“已证明”。它只表示:如果没有效果,这样的数据不寻常,仅此而已。
- 不停切片直到出现显著。把一个结果按 10 个国家 × 10 个渠道拆开就是 100 次比较。先定好要看哪些分组,或者按看过的数量做校正。
- 事后换指标。测试前就指定一个主要指标。
- 把“不显著”当成“没有效果”。那是另一种风险,即 II 类错误。
- 忽略效果大小。样本特别大时,0.1% 的提升也可能显著,但仍不值得上线。
这和你的分析数据有什么关系?
TapCub 不做实验、不分流,也不计算 p 值;它只负责衡量到底发生了什么。I 类错误的风险在于你怎么读报表,所以要在看数据之前先定规矩。
- 先写下问题。比如“新定价页有没有提高目标完成数?”,指定 网站统计 › 目标里的一个目标和日期范围。
- 标出改动。在 配置 › 日期标注里加上这次发布,让改动前后的时段界限清楚。
- 限制切片。把一份报表拆成很多分组(来源、国家、设备)会产生很多次比较;事先选两三个,并记下你一共看了几个。
- 比较同类。用 网站统计 › 来源和 受众检查两个时段的流量构成是否相近;真人和机器人是分开统计的。
- 分流和检验在别处做,结果在这里衡量。随机分流和显著性检验用你自己的实验工具;目标数字用 TapCub,并按上表的做法,把 α 除以你做过的比较次数。
资料来源
- Neyman, J., & Pearson, E. S. (1933). On the problem of the most efficient tests of statistical hypotheses. Philosophical Transactions of the Royal Society A, 231, 289–337.
- NIST/SEMATECH e-Handbook of Statistical Methods,7.1.3 What are statistical tests?
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133.
- Benjamini, Y., & Hochberg, Y. (1995). Controlling the False Discovery Rate. Journal of the Royal Statistical Society B, 57(1), 289–300.
- Armitage, P., McPherson, C. K., & Rowe, B. C. (1969). Repeated Significance Tests on Accumulating Data. Journal of the Royal Statistical Society A, 132(2), 235–244.
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
