p 值是在真的没有差别时,看到至少和你一样大的差距的概率,而不是你的结果为真的概率。下面 4.0% 对 4.8% 的例子里,p = 0.168,区间是 −0.34 到 +1.94 个点。读 p 值要和差距、区间一起,不能单独看。
读完你会知道
- p 值是假设没有差别算出来的,它说不出没有差别有多可能
- 同样 0.8 个点的差距,每组访客从 2,500 增加到 20,000,p 从 0.168 变成 0.0001,所以 p 不是效果大小
- 把 p 值和置信区间、以及你在检验前定好的值得行动的最小差距放在一起读
p 值到底是什么意思?
p 值是关于你的数据的概率,而不是关于你的假设的概率。它只回答一个问题:如果真的没有差别(原假设成立),单靠随机波动,有多大概率出现至少和你看到的一样大的差距? p 值为 0.03,意思是在没有真实差别时,每 100 次实验大约有 3 次会出现这么大或更大的差距。它不表示「差别有 97% 的可能是真的」,也不表示「你有 3% 的可能判断错了」。
美国统计学会 2016 年把这一点写成了声明:p 值可以说明数据与某个指定的统计模型有多不相容;它不衡量假设为真的概率,也不衡量数据仅由随机产生的概率;它也不说明效果的大小或重要性。定义里有两个词最关键。「至少一样大」是说 p 值把观测到的结果和所有更极端的结果都算进去,而不只是这一个结果。「假设没有差别」是说整个计算是在你的想法为假的世界里做的,所以 p 值说不出那个世界有多可能。简短的术语定义见 p 值,本文讲的是怎么在真实结果里读一个 p 值。
怎么一步步读 p 值?
每次都用同样的五步:
- 用文字写下原假设。「两个版本的转化率相同。」如果说不出「没有差别」是什么,就读不了 p 值。
- 写下你在看数据之前就定好的检验和阈值。 双侧还是单侧,阈值通常是 0.05。看到 p 值之后再选阈值,是一种 p 值操纵。
- 找到 p 值和它对应的估计值。 永远把两者一起读:观测到的差距,以及这个差距的 p 值。
- 把它说成一句话。「如果两个版本的转化率真的相同,0.8 个点或更大的差距(不分方向)大约每 100 次实验里会出现 17 次。」如果这句话听起来很怪,读法多半错了。
- 决策前先看合理差距的范围。 置信区间和差距的大小告诉你结果值不值得行动;p 值只告诉你在「没有差别」下它有多出人意料。
下一节用真实数字走一遍这五步。
算例:每组 2,500 名访客,4.0% 对 4.8%
示例数据:版本 A 在 2,500 名访客中转化 100 人(4.0%),版本 B 在 2,500 名访客中转化 120 人(4.8%)。差距是 0.8 个点,相对提升 20%。检验:双侧两比例 z 检验。
- 原假设: A 和 B 的真实转化率相同。
- 原假设下的合并比率:(100 + 120)÷ 5,000 = 4.4%。
- 原假设下差距的标准误: √(0.044 × 0.956 × (1/2,500 + 1/2,500)) = 0.0058(0.58 个点)。
- 检验统计量: z = 0.008 ÷ 0.0058 = 1.38。
- p 值(双侧): 2 × P(Z > 1.38) = 0.168。如果是单侧,则为 0.084。
这句话是:如果 A 和 B 的转化率真的相同,单靠随机波动,大约 17% 的时候会出现 0.8 个点或更大的差距(不分方向)。这并不少见,所以结果在 0.05 水平上不显著。在这个样本下,差距要达到约 1.1 个点(比如 4.0% 对 5.1%)才会达到 p = 0.05。
现在是多数文章跳过的那一步。差距的 95% 置信区间是 0.8 ± 1.96 × 0.58 = −0.34 到 +1.94 个点,换成相对值是从下降 8% 到提升 48%。数据与 B 稍差、没差别、好很多都相容。这里的「不显著」意思是「现在还看不出来」,而且这个检验对这样大小的真实提升只有约 28% 的功效,所以即使 B 真的更好,也很可能漏掉(见 第二类错误)。
观测到的比率相同时,仅样本量就能改变 p 值:
| 每组访客数 | A / B 转化数 | z | 双侧 p |
|---|---|---|---|
| 2,500 | 100 / 120 | 1.38 | 0.168 |
| 5,000 | 200 / 240 | 1.95 | 0.051 |
| 7,500 | 300 / 360 | 2.39 | 0.017 |
| 10,000 | 400 / 480 | 2.76 | 0.0058 |
| 20,000 | 800 / 960 | 3.90 | 0.0001 |
每一行的差距都是 0.8 个点,只有数据量不同,所以不能把 p 值单独当成效果的大小。
同样 0.8 个点的差距,不同的样本
双侧 p 值最常见的三个误读是什么?
| 误读 | 为什么错 | 用本例给出的正确读法 |
|---|---|---|
| 「p = 0.168 说明两个版本相同的概率是 16.8%」 | p 值是在假设它们相同的前提下算的,不可能是这个假设为真的概率 | 「如果它们相同,我大约有 17% 的时候会看到这么大的差距」 |
| 「p < 0.05 说明效果大或重要」 | 样本很大时,很小的差距也显著 | 每组 500,000 名访客,10.0% 对 10.2% 得到 p = 0.0009,但差距只有 0.2 个点(区间 0.08 到 0.32) |
| 「p > 0.05 说明没有差别」 | 样本小,分不清真实差距和噪声 | p = 0.168 时区间仍包含 1.9 个点的提升;检验的功效不足,并不是定论 |
还有一个相关的错误,是以为 p < 0.05 意味着结果有 95% 的可能复现。不是这样:能否复现取决于真实效果和样本量,而这是 p 值单独看不出来的。
再有一个事实有助于校准。完全没有真实差别时,约 5% 的检验在 0.05 水平上显著。在一次 3,000 次实验的模拟里,两个版本的真实转化率都是 4.4%,有 4.6% 达到了 p < 0.05。所以在很多检验的背景下出现一个显著结果,恰恰是随机会产生的。做 20 次独立检验,至少出现一次误报的概率是 1 − 0.95²⁰ = 64%。解决办法是事先确定比较的次数并据此校正阈值,或者用第二次检验来确认任何意外的发现。
| p 值 | 通俗读法 | 不代表什么 |
|---|---|---|
| 0.168 | 没有真实差别时,这么大或更大的差距每 100 次实验约出现 17 次 | 两个版本相同的概率是 16.8% |
| 0.05 | 常用阈值:没有差别时每 100 次实验约 5 次 | 效果有 95% 的可能是真的或会复现 |
| 0.0009 | 在没有差别时非常出人意料 | 效果很大;每组 500,000 名访客时 0.2 个点的差距就能得到这个值 |
| 0.30 且区间很宽 | 数据分不清真实差距和噪声 | 没有效果 |
示例数据来自算例;双侧两比例 z 检验。
除了 p 值还要看什么?
p 值只回答一个很窄的问题,所以要配上另外三个数字:
| 问题 | 要读的数字 | 本例中 |
|---|---|---|
| 没有差别时,这个差距有多出人意料? | p 值 | 0.168 |
| 数据允许真实差距在什么范围? | 95% 置信区间 | −0.34 到 +1.94 个点 |
| 差距按有意义的方式算有多大? | 效果大小(绝对值和相对值) | +0.8 个点,相对 +20% |
| 检验能不能看到值得行动的差距? | 功效或最小可检测效应 | 每组 2,500 人时功效约 28%;达到 80% 每组约需 10,300 人 |
美国统计学会的声明用它自己的话说了同一件事:结论不应只依据 p 值是否越过某个阈值,p 值本身也不是衡量证据的好指标。区间怎么读见 怎么计算置信区间;差距按实际意义怎么看见 效应量。「显著」到底该指什么,更大的讨论见 统计显著性。
拿到结果后怎么决定怎么做?
把你看到的对应到下面某一行,不要只看 p 值:
| 你看到的 | 它意味着什么 | 怎么做 |
|---|---|---|
| p 低于阈值,区间下端高于你认为值得的最小差距 | 有证据表明差距有意义 | 行动,上线后再确认 |
| p 低于阈值,区间大部分低于你认为值得的最小差距 | 差距是真的但太小 | 除非改动没有成本,通常不行动 |
| p 高于阈值,区间窄且围绕 0 | 超过区间边缘的差距不太可能 | 当作没有有意义的差别 |
| p 高于阈值,区间宽,既包含 0 也包含值得的差距 | 没有定论 | 收集更多数据,或者测更大的改动 |
| 看了很多次或比较了很多组之后 p 刚好低于 0.05 | 可能是噪声 | 当作线索,重新检验 |
「值得的最小差距」是你在检验之前定的业务数字:多大的提升才抵得上这个改动的成本?
常见误区有哪些?
- 反复偷看,p 一低于 0.05 就停。 每天查看、第一次显著就停止,会让误报率远高于 5%。先定好样本量或运行时长。
- 只报 p 值。「p = 0.03」没有差距或区间,什么决定也做不了。
- 把 0.049 和 0.051 当成两个世界。 它们的证据几乎一样。0.05 这条线是惯例,不是自然规律。
- 测很多个分群,只报告有效的那个。 二十次比较里会有一次因为偶然而「显著」。
- 对非随机的比较做显著性检验。 如果是人们自己选了用哪个版本,小 p 值只说明差距不太可能是噪声,不说明是这个版本造成的(见 相关与因果)。
怎么用 TapCub 读 p 值?
TapCub 不做 A/B 实验,也不计算 p 值,所以没有自己的显著性检验。它提供上面计算所需的输入,并保持数据干净。下面是 4.0% 对 4.8% 的例子怎么准备。
- 取出每个版本的转化数和访客数。 在 网站统计 › 目标 里,读相同日期内每个版本的目标转化数和访客数。如果把版本名作为事件属性发过来,就能直接比较两组的计数。
- 只数真人。 TapCub 把机器人和 AI 爬虫分开统计,所以每组 2,500 是真人,不会有爬虫稀释转化率。
- 在 TapCub 之外做检验。 把四个数字(每个版本的转化数和访客数)放进你自己的检验工具或计算器,除了 p 值也要记下区间。TapCub 只负责衡量,不做检验。
- 在趋势里对比同一时段。 在 全端分析 › 行为分析 › 事件分析 里用对比选项把一个时段和上一时段并排,并在 配置 › 日期标注 里标出改动,让以后的人知道指标为什么变了。
- 给你关心的指标设监控。 在 全端分析 › 智能运营 › 监控 里,对 bounce_rate 这类内置指标设监控,越线时通知你。它只通知,变化是不是真的,仍由你来判断。
FAQ
p 值等于 0.05 是什么意思?
如果没有真实差别,在大约 100 次重复实验里,有 5 次会出现至少和你一样大的差距。它是把结果称为统计显著的惯例阈值,不是衡量发现有多可能为真的指标。
p 值很高说明什么?
p 值高说明你看到的差距,是在什么都没发生时随机波动经常产生的那种差距。它不能证明没有效果。样本小时,差距周围的区间仍可能包含很大的真实效果。
p 值是原假设为真的概率吗?
不是。p 值是在假设原假设为真的前提下算出来的,所以不可能给出它为真的概率。要得到那个概率,需要先验信息和另一种方法,比如贝叶斯分析。
p 值显著但不重要,可能吗?
可能。访客足够多时,转化率 0.2 个点的差别也能达到 p < 0.001。要把差距和它的区间与 p 值一起读,并拿区间下端和能抵得上改动成本的最小差距比较。
应该一直用 0.05 吗?
不应该。它只是惯例。要在检验之前,根据误报和漏报的代价选阈值,并在报告里说明。如果做了很多比较,就收紧阈值或按检验次数校正。
资料来源
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133。
- Greenland, S., et al. (2016). Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 31, 337–350。
- NIST/SEMATECH 统计方法电子手册,7.3.3 How can we determine whether two processes produce the same proportion of defectives?(算例使用的两比例检验)。
这篇文章对你有帮助吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。

