TapCub 正式上线:统计、分析、客服一个平台免费用
术语表

什么是假设检验?步骤、两类错误和一个转化率算例

假设检验用来判断样本数据里的差异是否大于随机波动所能产生的。本文讲六个步骤、一个转化率算例、弃真和取伪两类错误,以及让 p 值失去意义的常见错误。

艾玛·柯林斯 审核人 苏禾 又称 统计假设检验 最后更新 2026 年 11 月 17 日 术语表

一句话回答

假设检验是一种统计方法,用样本数据判断差异是否大于单靠随机波动所能产生的。先定好原假设、显著性水平和样本量,再计算 p 值,只有 p 值低于那个水平才拒绝原假设。

公式: z = (p̂₁ − p̂₂) ÷ √( p̂ (1 − p̂) (1/n₁ + 1/n₂) ),其中 p̂ = (x₁ + x₂) ÷ (n₁ + n₂);双侧 p 值低于 α 时拒绝 H0

什么是假设检验?

假设检验是一种统计方法,用来判断样本数据里看到的差异,是不是比单靠随机波动更大。你先提出一个原假设,通常是「没有差异」或「没有效果」,再提出备择假设;然后计算检验统计量和 p 值:假设原假设成立,得到至少这么极端的结果的概率。如果 p 值低于你事先定好的阈值 α,就拒绝原假设。NIST 把原假设描述为检验试图推翻的一个陈述,把 α 描述为拒绝了一个实际上成立的原假设的风险。

没能拒绝原假设,并不等于证明了它。它只说明这份样本没有给出足够的反对证据。

这个方法背后的想法是先立靶、后射箭:假设、α、检验方法和样本量,都要在看结果之前定好。之后的一切,尤其是 p 值,只有在你守住这个顺序时才有意义。

六个步骤

步骤你要决定什么示例:两个转化率
1. 提出假设原假设和备择假设H0:两个转化率相等。H1:二者不同(双侧)
2. 定 α 和方向你能接受多大的误报风险α = 0.05,双侧
3. 选检验方法选一个适合数据类型的两比例 z 检验(要求样本较大)
4. 定样本量足以检出你在意的最小差异5.0% → 6.0%、80% 的检验功效,每组约需 8,155 人
5. 收完全部数据再计算检验统计量和 p 值按下面的公式算 z 和 p
6. 做决定并报告是否拒绝,加上差异大小和它的区间「+1.0 个百分点,95% 区间 +0.3 到 +1.7」

对两个比例,NIST 给出的大样本统计量是 z = (p̂₁ − p̂₂) ÷ √( p̂ (1 − p̂) (1/n₁ + 1/n₂) ),其中 p̂₁ 和 p̂₂ 是两组的比例,p̂ 是合并比例,即 (x₁ + x₂) ÷ (n₁ + n₂)。

算例:两个结账页版本

示例数据:两个结账页版本事先就定好了:原假设 H0 为「转化率相等」,双侧 α 为 0.05,关心的最小差异是 1 个百分点(5.0% → 6.0%)。检验功效取 80% 时,每组需要 8,155 名访客,向上取整为 8,200。

分组访客数转化数转化率
A(现有版本)8,2004105.00%
B(新版本)8,2004926.00%
  • 合并比例:(410 + 492) ÷ 16,400 = 0.055。
  • 标准误:√(0.055 × 0.945 × (1/8,200 + 1/8,200)) = 0.00356。
  • z = 0.010 ÷ 0.00356 = 2.81,所以双侧 p 值为 0.005。低于 0.05,拒绝 H0。
  • 差异是 +1.0 个百分点,95% 区间为 +0.30 到 +1.70 个百分点。

现在看同样的比例、但数据少得多的情形。示例数据:A 在 2,000 名访客中有 100 个转化(5.0%),B 在 2,000 名访客中有 118 个转化(5.9%)。这时 z = 1.25,p = 0.21,不能拒绝 H0,差异的 95% 区间是 −0.51 到 +2.31 个百分点。这么大的检验,检出 1 个百分点提升的功效只有约 28%,所以老实的读法是「数据不够」,而不是「没有效果」。

弃真错误和取伪错误

真的存在差异真的不存在差异
你拒绝了 H0判断正确(这就是检验功效,1 − β)弃真错误(Type I),概率 α(这里是 5%)
你没有拒绝 H0取伪错误(Type II),概率 β判断正确

α 是误报的风险,β 是漏报的风险。NIST 指出 β 的风险会随 α 的降低而升高。样本量固定时两者不能同时降低,加大样本才能做到,这就是为什么要先定样本量。上面每组 8,200 人,对 1 个百分点的提升约有 80% 的功效(80.2%)。两类错误的区别见Type I 与 Type II 错误,功效一侧见统计功效,一个检验能看出的最小提升见最小可检测效应。

p 值能说什么、不能说什么

美国统计协会 2016 年的声明里,有四点和这里直接相关。p 值表示数据与某个设定的模型有多不相容;它不是假设为真的概率;它不衡量效应的大小或重要性;决策也不应该只看它有没有跨过某个阈值。

在算例里,p = 0.005 并不表示 B 有 99.5% 的可能更好。它表示:如果两个版本其实一样,出现这么大的差距的情况大约只有 0.5%。你该据以行动的,是效应大小和区间。

怎么选检验方法

问题数据检验方法免费计算器
两个转化率有差异吗?每组的转化数和访客数两比例 z 检验;对 2×2 表,z² 等于卡方统计量卡方检验计算器
这周的流量和上周有差别吗?每日访问数两个速率的泊松检验,按星期调整流量变化显著性
两组的平均值有差异吗,比如订单金额?每个用户一个数值t 检验这里没有
我需要多少访客?基线转化率和最小差异样本量计算A/B 测试样本量

常见误区

  • 偷看数据。 一看到 p 低于 0.05 就停,会让误报膨胀。示例数据来自一次模拟:20,000 次检验,两组的真实转化率都是 5.0%。每组 10,000 人时只检验一次,4.9% 显示显著;中途看 10 次,每组每增加 1,000 名访客看一次,19.2% 至少有一次显著;看 5 次,是 14.2%。
  • 做太多比较。 在 α = 0.05 下检验 20 个细分,只要各检验互相独立,至少出现一个假阳性的概率是 1 − 0.95²⁰ = 64.2%。事先定好要比较什么,或者收紧 α。
  • 把「不显著」读成「没有效果」。 示例数据:B 的转化率是 5.51%(8,200 中的 452),A 是 5.00%(8,200 中的 410)。这时 z = 1.47,p = 0.14,但 95% 区间是 −0.17 到 +1.20 个百分点,仍然包含你期望的 1 个百分点提升。
  • 把显著和重要混为一谈。 每组 1,000,000 名访客时,5.00% 对 5.10% 得到 z = 3.23、p = 0.001。它是显著的,而提升只有零点一个百分点。要报告大小,不要只报 p 值。
  • 看完数据再改规则。 看到差距朝哪个方向之后改成单侧检验,p 值会减半。方向、α 和检验方法都要事先定好。
  • 把前后对比当成实验。 检验说的是差距不太可能只是随机造成的,没说它是什么造成的;见相关不等于因果。

在 TapCub 报表旁做假设检验

假设你上周二改了定价页,想知道转化率是不是真的动了。

  1. 先弄清 TapCub 在这里做什么。 TapCub 不做 A/B 实验,也不分流,它的报表显示差异,但不做检验。它负责衡量前后的数字,检验在外面做。
  2. 比对正确的时间段。 在 网站统计 › 目标 里,把报表顶部的对比设为上一个时间段,或上周同期。选上周同期能让星期对齐,周末和工作日不一样的时候这点很重要。
  3. 把改动标出来。 在 配置 › 日期标注 里为这次发版加一条标注,以后看图表的人就知道什么时候改了什么。
  4. 把四个数字拿出来检验。 把两个时间段各自的访客数和转化数,填进卡方检验计算器或流量变化显著性;下一次对比用样本量计算器来规划。
  5. 让分母保持干净。 新项目会把识别出的机器人和 AI 爬虫单独统计,所以它们不会抬高访客数,也不会稀释你要检验的转化率。

客服 › 客服报表 › 转化归因很能说明这些局限。它对比聊过的访客和只浏览的访客,聊过的人少于 30 时提示样本太少,也不声称是聊天带来了目标转化。对这类对比做检验时也一样:检验只告诉你差距是不是可能出于随机,不告诉你差距为什么存在。

资料来源

这个解释清楚吗?

我们会根据反馈修改和补充这篇内容。

艾玛·柯林斯

产品分析师

聚焦事件分析、转化漏斗与用户留存,用清晰的指标定义和分析框架解释产品表现。

常见问题

常见追问

大家看完定义后最常问的几个问题。

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

假设检验有哪些步骤?

提出原假设和备择假设,定显著性水平 α 和方向,选一个适合数据的检验方法,定样本量,收完全部数据后计算统计量和 p 值,最后做决定,并报告差异的大小和区间。

原假设和备择假设有什么区别?

原假设是默认的「没有差异或没有效果」的说法,检验要试着推翻的就是它;备择假设是认为存在差异的说法,可以是某个方向,也可以是任一方向。

没能拒绝原假设意味着什么?

意味着样本没有给出足够的反对证据,而不是原假设为真。样本小的时候可能漏掉真实的差异,所以下结论说没有效果之前,要看区间和检验的功效。

TapCub 会做假设检验吗?

不会。TapCub 衡量访客、转化等指标,也能对比时间段,但不做 A/B 实验,也不计算显著性。把数字拷进计算器即可,比如本站免费的卡方检验或流量变化工具。

在你自己的网站上看这个数字

加一行脚本就能开始,网站和 App 都能接,几分钟内就能看到第一批报表。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie