一句话回答
假设检验是一种统计方法,用样本数据判断差异是否大于单靠随机波动所能产生的。先定好原假设、显著性水平和样本量,再计算 p 值,只有 p 值低于那个水平才拒绝原假设。
公式: z = (p̂₁ − p̂₂) ÷ √( p̂ (1 − p̂) (1/n₁ + 1/n₂) ),其中 p̂ = (x₁ + x₂) ÷ (n₁ + n₂);双侧 p 值低于 α 时拒绝 H0
什么是假设检验?
假设检验是一种统计方法,用来判断样本数据里看到的差异,是不是比单靠随机波动更大。你先提出一个原假设,通常是「没有差异」或「没有效果」,再提出备择假设;然后计算检验统计量和 p 值:假设原假设成立,得到至少这么极端的结果的概率。如果 p 值低于你事先定好的阈值 α,就拒绝原假设。NIST 把原假设描述为检验试图推翻的一个陈述,把 α 描述为拒绝了一个实际上成立的原假设的风险。
没能拒绝原假设,并不等于证明了它。它只说明这份样本没有给出足够的反对证据。
这个方法背后的想法是先立靶、后射箭:假设、α、检验方法和样本量,都要在看结果之前定好。之后的一切,尤其是 p 值,只有在你守住这个顺序时才有意义。
六个步骤
| 步骤 | 你要决定什么 | 示例:两个转化率 |
|---|---|---|
| 1. 提出假设 | 原假设和备择假设 | H0:两个转化率相等。H1:二者不同(双侧) |
| 2. 定 α 和方向 | 你能接受多大的误报风险 | α = 0.05,双侧 |
| 3. 选检验方法 | 选一个适合数据类型的 | 两比例 z 检验(要求样本较大) |
| 4. 定样本量 | 足以检出你在意的最小差异 | 5.0% → 6.0%、80% 的检验功效,每组约需 8,155 人 |
| 5. 收完全部数据再计算 | 检验统计量和 p 值 | 按下面的公式算 z 和 p |
| 6. 做决定并报告 | 是否拒绝,加上差异大小和它的区间 | 「+1.0 个百分点,95% 区间 +0.3 到 +1.7」 |
对两个比例,NIST 给出的大样本统计量是 z = (p̂₁ − p̂₂) ÷ √( p̂ (1 − p̂) (1/n₁ + 1/n₂) ),其中 p̂₁ 和 p̂₂ 是两组的比例,p̂ 是合并比例,即 (x₁ + x₂) ÷ (n₁ + n₂)。
算例:两个结账页版本
示例数据:两个结账页版本事先就定好了:原假设 H0 为「转化率相等」,双侧 α 为 0.05,关心的最小差异是 1 个百分点(5.0% → 6.0%)。检验功效取 80% 时,每组需要 8,155 名访客,向上取整为 8,200。
| 分组 | 访客数 | 转化数 | 转化率 |
|---|---|---|---|
| A(现有版本) | 8,200 | 410 | 5.00% |
| B(新版本) | 8,200 | 492 | 6.00% |
- 合并比例:(410 + 492) ÷ 16,400 = 0.055。
- 标准误:√(0.055 × 0.945 × (1/8,200 + 1/8,200)) = 0.00356。
- z = 0.010 ÷ 0.00356 = 2.81,所以双侧 p 值为 0.005。低于 0.05,拒绝 H0。
- 差异是 +1.0 个百分点,95% 区间为 +0.30 到 +1.70 个百分点。
现在看同样的比例、但数据少得多的情形。示例数据:A 在 2,000 名访客中有 100 个转化(5.0%),B 在 2,000 名访客中有 118 个转化(5.9%)。这时 z = 1.25,p = 0.21,不能拒绝 H0,差异的 95% 区间是 −0.51 到 +2.31 个百分点。这么大的检验,检出 1 个百分点提升的功效只有约 28%,所以老实的读法是「数据不够」,而不是「没有效果」。
弃真错误和取伪错误
| 真的存在差异 | 真的不存在差异 | |
|---|---|---|
| 你拒绝了 H0 | 判断正确(这就是检验功效,1 − β) | 弃真错误(Type I),概率 α(这里是 5%) |
| 你没有拒绝 H0 | 取伪错误(Type II),概率 β | 判断正确 |
α 是误报的风险,β 是漏报的风险。NIST 指出 β 的风险会随 α 的降低而升高。样本量固定时两者不能同时降低,加大样本才能做到,这就是为什么要先定样本量。上面每组 8,200 人,对 1 个百分点的提升约有 80% 的功效(80.2%)。两类错误的区别见Type I 与 Type II 错误,功效一侧见统计功效,一个检验能看出的最小提升见最小可检测效应。
p 值能说什么、不能说什么
美国统计协会 2016 年的声明里,有四点和这里直接相关。p 值表示数据与某个设定的模型有多不相容;它不是假设为真的概率;它不衡量效应的大小或重要性;决策也不应该只看它有没有跨过某个阈值。
在算例里,p = 0.005 并不表示 B 有 99.5% 的可能更好。它表示:如果两个版本其实一样,出现这么大的差距的情况大约只有 0.5%。你该据以行动的,是效应大小和区间。
怎么选检验方法
| 问题 | 数据 | 检验方法 | 免费计算器 |
|---|---|---|---|
| 两个转化率有差异吗? | 每组的转化数和访客数 | 两比例 z 检验;对 2×2 表,z² 等于卡方统计量 | 卡方检验计算器 |
| 这周的流量和上周有差别吗? | 每日访问数 | 两个速率的泊松检验,按星期调整 | 流量变化显著性 |
| 两组的平均值有差异吗,比如订单金额? | 每个用户一个数值 | t 检验 | 这里没有 |
| 我需要多少访客? | 基线转化率和最小差异 | 样本量计算 | A/B 测试样本量 |
常见误区
- 偷看数据。 一看到 p 低于 0.05 就停,会让误报膨胀。示例数据来自一次模拟:20,000 次检验,两组的真实转化率都是 5.0%。每组 10,000 人时只检验一次,4.9% 显示显著;中途看 10 次,每组每增加 1,000 名访客看一次,19.2% 至少有一次显著;看 5 次,是 14.2%。
- 做太多比较。 在 α = 0.05 下检验 20 个细分,只要各检验互相独立,至少出现一个假阳性的概率是 1 − 0.95²⁰ = 64.2%。事先定好要比较什么,或者收紧 α。
- 把「不显著」读成「没有效果」。 示例数据:B 的转化率是 5.51%(8,200 中的 452),A 是 5.00%(8,200 中的 410)。这时 z = 1.47,p = 0.14,但 95% 区间是 −0.17 到 +1.20 个百分点,仍然包含你期望的 1 个百分点提升。
- 把显著和重要混为一谈。 每组 1,000,000 名访客时,5.00% 对 5.10% 得到 z = 3.23、p = 0.001。它是显著的,而提升只有零点一个百分点。要报告大小,不要只报 p 值。
- 看完数据再改规则。 看到差距朝哪个方向之后改成单侧检验,p 值会减半。方向、α 和检验方法都要事先定好。
- 把前后对比当成实验。 检验说的是差距不太可能只是随机造成的,没说它是什么造成的;见相关不等于因果。
在 TapCub 报表旁做假设检验
假设你上周二改了定价页,想知道转化率是不是真的动了。
- 先弄清 TapCub 在这里做什么。 TapCub 不做 A/B 实验,也不分流,它的报表显示差异,但不做检验。它负责衡量前后的数字,检验在外面做。
- 比对正确的时间段。 在 网站统计 › 目标 里,把报表顶部的对比设为上一个时间段,或上周同期。选上周同期能让星期对齐,周末和工作日不一样的时候这点很重要。
- 把改动标出来。 在 配置 › 日期标注 里为这次发版加一条标注,以后看图表的人就知道什么时候改了什么。
- 把四个数字拿出来检验。 把两个时间段各自的访客数和转化数,填进卡方检验计算器或流量变化显著性;下一次对比用样本量计算器来规划。
- 让分母保持干净。 新项目会把识别出的机器人和 AI 爬虫单独统计,所以它们不会抬高访客数,也不会稀释你要检验的转化率。
客服 › 客服报表 › 转化归因很能说明这些局限。它对比聊过的访客和只浏览的访客,聊过的人少于 30 时提示样本太少,也不声称是聊天带来了目标转化。对这类对比做检验时也一样:检验只告诉你差距是不是可能出于随机,不告诉你差距为什么存在。
资料来源
- NIST/SEMATECH 统计方法电子手册,7.1.3 What are statistical tests?
- NIST/SEMATECH 统计方法电子手册,7.3.3 How can we determine whether two processes produce the same proportion of defectives?(算例用到的两比例 z 检验)。
- Wasserstein, R. L. & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133.
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
