一句话回答
检验统计量是从样本数据算出的一个数,用抽样噪声作为单位,衡量数据离零假设的预测有多远。z 为 2,意思是观察到的差值离零大约有两个标准误。它要和临界值比较,或换算成 p 值。
公式: (观察值 − 零假设下的值)÷ 标准误;两比例 z = (p̂1 − p̂2) ÷ √(p̂(1 − p̂)(1/n1 + 1/n2))
检验统计量是什么
检验统计量是从样本算出的一个数,用抽样本身会带来的噪声作为单位,告诉你数据离零假设预测的结果有多远。零假设是「什么都没发生」的说法,比如「两个版本的转化率相同」。检验统计量小,数据看起来像是偶然;检验统计量大,偶然就是个很差的解释。
它处在原始数据和决策之间。你先收集计数或测量值,把它们压缩成一个数,再把这个数和临界值比较,或者把它换算成 p 值。每种标准检验都有自己的统计量,但共用同一个思路:信号除以噪声。临界值怎么选、「显著」在实践中是什么意思,见统计显著性。
通用形式:信号除以噪声
多数检验统计量遵循这个模式:
检验统计量 = (观察到的值 − 零假设预测的值)÷ 标准误
分子是信号:两个比例之差,或者样本均值与目标之差。分母是标准误:如果重复抽样,这个差会波动多少。当信号相对于波动很大时,结果才令人印象深刻,所以检验统计量为 2,意思是观察值离零假设预测的值有两个标准误。
除以标准误,也让不同指标的结果变得可以比较:转化率的 z 为 2,和平均订单金额的 z 为 2,证据的分量相同,尽管一个是百分比,另一个是金额。这是统计量没有单位带来的好处,也是它能作为通用「刻度尺」的原因。
有两点值得记住。同样的差值,数据越多统计量越大,因为标准误随样本增大而缩小。统计量没有单位,所以可以跨不同指标比较结果。
常见检验统计量一览
| 统计量 | 用于 | 公式(简写) | 与什么比较 |
|---|---|---|---|
| z(单个比例) | 一个比例对目标比例 | (p̂ − p0) ÷ √(p0(1 − p0)/n) | 正态分布 |
| z(两个比例) | 两个比例,如转化率 A 和 B | (p̂1 − p̂2) ÷ √(p̂(1 − p̂)(1/n1 + 1/n2)) | 正态分布 |
| t(单样本) | 均值对目标,标准差未知 | (Ȳ − μ0) ÷ (s/√n) | 自由度为 n − 1 的 t 分布 |
| 卡方 | 各类别的计数对期望计数 | Σ(观察 − 期望)² ÷ 期望 | 卡方分布 |
| F | 方差,或同时比较多组均值 | 两个方差之比 | F 分布 |
NIST/SEMATECH 电子手册给出了使用合并比例 p̂ = (x1 + x2) ÷ (n1 + n2) 的两比例形式,以及单样本 t 形式 T = (Ȳ − μ0) ÷ (s/√N),自由度为 N − 1。
算例:两比例 z 统计量
示例数据:注册页的两个版本,各 4,000 位访客。版本 A 有 200 个注册(5.0%),版本 B 有 244 个(6.1%)。零假设:两个版本的真实注册率相同。
- 观察到的差值:0.061 − 0.050 = 0.011
- 合并比例:(200 + 244) ÷ 8,000 = 444 ÷ 8,000 = 0.0555
- 标准误:√(0.0555 × 0.9445 × (1/4,000 + 1/4,000)) = √(0.0000262) = 0.00512
- 检验统计量:z = 0.011 ÷ 0.00512 = 2.15
z 为 2.15,意思是这个差值离零大约有 2.15 个标准误。双侧 p 值是 0.032。在常用的 5% 水平上临界值是 1.96,2.15 超过了它,所以拒绝零假设。
现在保持同样的比例,但把样本翻倍到每个版本 8,000 位访客(400 个和 488 个注册)。差值仍是 1.1 个百分点,但标准误降到 0.00362,z = 3.04,p = 0.002。效应没有变,变的是证据。
算例:单样本 t 统计量
示例数据:你的注册率平均每天 3.0%。改动之后的 8 天里分别是 2.9、3.4、3.1、3.8、3.5、3.0、3.6 和 3.3%。零假设:真实均值仍是 3.0%。
- 样本均值:3.325
- 样本标准差:0.3105
- 标准误:0.3105 ÷ √8 = 0.1098
- 检验统计量:t = (3.325 − 3.0) ÷ 0.1098 = 2.96,自由度 7
自由度为 7 的双侧 5% 检验,临界值是 2.365。2.96 比它大,拒绝零假设;双侧 p 值是 0.021。这里用 t 而不是 z,是因为标准差只靠八天的数据估计出来,t 分布的尾部更厚,用来补偿这一点。
一个统计量,两种判断方式
有了统计量,可以用两种等价的方式做判断:
- 临界值。 事先选好显著性水平 α(常用 0.05)。查出这个检验的分界点,统计量超过它就拒绝零假设。双侧 z 检验在 5% 水平上是 |z| > 1.96。
- p 值。 把统计量换算成「如果零假设成立,看到至少这么极端的结果的概率」,低于 α 就拒绝。
两者总是一致。第一个算例里 z = 2.15 超过 1.96,p 值 0.032 低于 0.05。单侧检验的分界点会移动:5% 水平上是 1.645。在看数据之前就决定用单侧还是双侧,因为事后再选会抬高假阳性率。
检验统计量不是效应大小
统计量大,说明存在某种差异的证据很强,并不说明差异很大。拿注册的例子,每个版本 40,000 位访客,注册 2,000 个和 2,440 个:比例仍是 5.0% 和 6.1%,同样 1.1 个百分点的差距,而 z = 6.8。统计量比 4,000 位访客时大了三倍多,效应却一模一样。
所以两者都要报告:效应(1.1 个百分点的差,附置信区间),以及统计量或 p 值。是否上线一项改动取决于效应;效应是否真实取决于统计量。
使用检验统计量的常见错误
- 样本很小时用 z。 比例的正态近似需要每组有足够多的事件。NIST 手册建议小样本用精确检验。同样的注册例子,如果每组只有 400 位访客(20 个和 24 个注册),z = 0.62,p = 0.54:远不显著,而且事件太少,本来也不该信这个近似。
- 偷看。 每天查看统计量,一越过 1.96 就停下,假阳性出现的频率会远高于 5%。事先固定样本量。
- 把 1.96 当作真相的边界。 z 为 1.9 和 z 为 2.0,证据几乎一样。
- 忘记零假设可能在另一个方向上不成立。 双侧检验检查两个方向上的差异。如果一项改动只可能有帮助,要在检验之前就说明。
- 混淆统计单位。 访客和会话是不同的分母,标准误取决于你数的是哪一个。
在 TapCub 里的检验统计量
TapCub 不做实验,也不计算检验统计量。它提供的是代入公式的计数。
- 各组的计数。 在 网站统计 › 目标 里读某个目标的访客和转化;在 全端分析 › 行为分析 › 行为分析 里,带分组的漏斗给出每组进入和转化的人数,比如示例里的两个版本。
- 在外部做算术。 把计数填进表格里的两比例公式。输入是每组转化的人数和基数,两边的统计单位要一致(都是人,或都是会话)。
- 防范小样本。 客服 › 客服报表 › 转化归因 在聊过的访客少于 30 时会显示样本量提示。任何低于这个数的分组,都应当视为太小、不适合检验。
对你自己的分流也是同样的逻辑,因为 TapCub 负责衡量,不负责分组。
资料来源
- NIST/SEMATECH 统计方法电子手册,两个比例的比较:合并 z 检验统计量、临界值规则和小样本的精确检验。核对日期 2026-11-21。
- NIST/SEMATECH 统计方法电子手册,单样本 t 检验的统计量:T = (Ȳ − μ0) ÷ (s/√N)、自由度 N − 1 和拒绝域。核对日期 2026-11-21。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
