TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

p 值怎么解读:p 值的意思到底是什么

p 值是在没有真实差别时,单靠随机波动出现至少和你一样大的差距有多常见。一个 4.0% 对 4.8% 的算例得到 p = 0.168,说明为什么它不等于「17% 的可能没有效果」,以及要把什么放在一起读。

许安 发布于 2026 年 11 月 18 日 9 分钟阅读 数据分析
示例数据:每种样本量下的转化率都是 4.0% 对 4.8%,双侧两比例 z 检验。条形按 p = 0.168 缩放,高亮行低于 0.05。差距始终不变,变的只是数据量。示例数据

p 值是在真的没有差别时,看到至少和你一样大的差距的概率,而不是你的结果为真的概率。下面 4.0% 对 4.8% 的例子里,p = 0.168,区间是 −0.34 到 +1.94 个点。读 p 值要和差距、区间一起,不能单独看。

读完你会知道

  • p 值是假设没有差别算出来的,它说不出没有差别有多可能
  • 同样 0.8 个点的差距,每组访客从 2,500 增加到 20,000,p 从 0.168 变成 0.0001,所以 p 不是效果大小
  • 把 p 值和置信区间、以及你在检验前定好的值得行动的最小差距放在一起读

p 值到底是什么意思?

p 值是关于你的数据的概率,而不是关于你的假设的概率。它只回答一个问题:如果真的没有差别(原假设成立),单靠随机波动,有多大概率出现至少和你看到的一样大的差距? p 值为 0.03,意思是在没有真实差别时,每 100 次实验大约有 3 次会出现这么大或更大的差距。它不表示「差别有 97% 的可能是真的」,也不表示「你有 3% 的可能判断错了」。

美国统计学会 2016 年把这一点写成了声明:p 值可以说明数据与某个指定的统计模型有多不相容;它不衡量假设为真的概率,也不衡量数据仅由随机产生的概率;它也不说明效果的大小或重要性。定义里有两个词最关键。「至少一样大」是说 p 值把观测到的结果和所有更极端的结果都算进去,而不只是这一个结果。「假设没有差别」是说整个计算是在你的想法为假的世界里做的,所以 p 值说不出那个世界有多可能。简短的术语定义见 p 值,本文讲的是怎么在真实结果里读一个 p 值。

怎么一步步读 p 值?

每次都用同样的五步:

  1. 用文字写下原假设。「两个版本的转化率相同。」如果说不出「没有差别」是什么,就读不了 p 值。
  2. 写下你在看数据之前就定好的检验和阈值。 双侧还是单侧,阈值通常是 0.05。看到 p 值之后再选阈值,是一种 p 值操纵。
  3. 找到 p 值和它对应的估计值。 永远把两者一起读:观测到的差距,以及这个差距的 p 值。
  4. 把它说成一句话。「如果两个版本的转化率真的相同,0.8 个点或更大的差距(不分方向)大约每 100 次实验里会出现 17 次。」如果这句话听起来很怪,读法多半错了。
  5. 决策前先看合理差距的范围。 置信区间和差距的大小告诉你结果值不值得行动;p 值只告诉你在「没有差别」下它有多出人意料。

下一节用真实数字走一遍这五步。

算例:每组 2,500 名访客,4.0% 对 4.8%

示例数据:版本 A 在 2,500 名访客中转化 100 人(4.0%),版本 B 在 2,500 名访客中转化 120 人(4.8%)。差距是 0.8 个点,相对提升 20%。检验:双侧两比例 z 检验。

  • 原假设: A 和 B 的真实转化率相同。
  • 原假设下的合并比率:(100 + 120)÷ 5,000 = 4.4%。
  • 原假设下差距的标准误: √(0.044 × 0.956 × (1/2,500 + 1/2,500)) = 0.0058(0.58 个点)。
  • 检验统计量: z = 0.008 ÷ 0.0058 = 1.38。
  • p 值(双侧): 2 × P(Z > 1.38) = 0.168。如果是单侧,则为 0.084。

这句话是:如果 A 和 B 的转化率真的相同,单靠随机波动,大约 17% 的时候会出现 0.8 个点或更大的差距(不分方向)。这并不少见,所以结果在 0.05 水平上不显著。在这个样本下,差距要达到约 1.1 个点(比如 4.0% 对 5.1%)才会达到 p = 0.05。

现在是多数文章跳过的那一步。差距的 95% 置信区间是 0.8 ± 1.96 × 0.58 = −0.34 到 +1.94 个点,换成相对值是从下降 8% 到提升 48%。数据与 B 稍差、没差别、好很多都相容。这里的「不显著」意思是「现在还看不出来」,而且这个检验对这样大小的真实提升只有约 28% 的功效,所以即使 B 真的更好,也很可能漏掉(见 第二类错误)。

观测到的比率相同时,仅样本量就能改变 p 值:

每组访客数A / B 转化数z双侧 p
2,500100 / 1201.380.168
5,000200 / 2401.950.051
7,500300 / 3602.390.017
10,000400 / 4802.760.0058
20,000800 / 9603.900.0001

每一行的差距都是 0.8 个点,只有数据量不同,所以不能把 p 值单独当成效果的大小。

app.tapcub.com

同样 0.8 个点的差距,不同的样本

双侧 p 值
每组 2,5000.168
每组 5,0000.051
每组 7,5000.017
每组 10,0000.0058
每组 20,0000.0001
示例数据
示例数据:每种样本量下的转化率都是 4.0% 对 4.8%,双侧两比例 z 检验。条形按 p = 0.168 缩放,高亮行低于 0.05。差距始终不变,变的只是数据量。

最常见的三个误读是什么?

误读为什么错用本例给出的正确读法
「p = 0.168 说明两个版本相同的概率是 16.8%」p 值是在假设它们相同的前提下算的,不可能是这个假设为真的概率「如果它们相同,我大约有 17% 的时候会看到这么大的差距」
「p < 0.05 说明效果大或重要」样本很大时,很小的差距也显著每组 500,000 名访客,10.0% 对 10.2% 得到 p = 0.0009,但差距只有 0.2 个点(区间 0.08 到 0.32)
「p > 0.05 说明没有差别」样本小,分不清真实差距和噪声p = 0.168 时区间仍包含 1.9 个点的提升;检验的功效不足,并不是定论

还有一个相关的错误,是以为 p < 0.05 意味着结果有 95% 的可能复现。不是这样:能否复现取决于真实效果和样本量,而这是 p 值单独看不出来的。

再有一个事实有助于校准。完全没有真实差别时,约 5% 的检验在 0.05 水平上显著。在一次 3,000 次实验的模拟里,两个版本的真实转化率都是 4.4%,有 4.6% 达到了 p < 0.05。所以在很多检验的背景下出现一个显著结果,恰恰是随机会产生的。做 20 次独立检验,至少出现一次误报的概率是 1 − 0.95²⁰ = 64%。解决办法是事先确定比较的次数并据此校正阈值,或者用第二次检验来确认任何意外的发现。

p 值通俗读法不代表什么
0.168没有真实差别时,这么大或更大的差距每 100 次实验约出现 17 次两个版本相同的概率是 16.8%
0.05常用阈值:没有差别时每 100 次实验约 5 次效果有 95% 的可能是真的或会复现
0.0009在没有差别时非常出人意料效果很大;每组 500,000 名访客时 0.2 个点的差距就能得到这个值
0.30 且区间很宽数据分不清真实差距和噪声没有效果

示例数据来自算例;双侧两比例 z 检验。

除了 p 值还要看什么?

p 值只回答一个很窄的问题,所以要配上另外三个数字:

问题要读的数字本例中
没有差别时,这个差距有多出人意料?p 值0.168
数据允许真实差距在什么范围?95% 置信区间−0.34 到 +1.94 个点
差距按有意义的方式算有多大?效果大小(绝对值和相对值)+0.8 个点,相对 +20%
检验能不能看到值得行动的差距?功效或最小可检测效应每组 2,500 人时功效约 28%;达到 80% 每组约需 10,300 人

美国统计学会的声明用它自己的话说了同一件事:结论不应只依据 p 值是否越过某个阈值,p 值本身也不是衡量证据的好指标。区间怎么读见 怎么计算置信区间;差距按实际意义怎么看见 效应量。「显著」到底该指什么,更大的讨论见 统计显著性。

拿到结果后怎么决定怎么做?

把你看到的对应到下面某一行,不要只看 p 值:

你看到的它意味着什么怎么做
p 低于阈值,区间下端高于你认为值得的最小差距有证据表明差距有意义行动,上线后再确认
p 低于阈值,区间大部分低于你认为值得的最小差距差距是真的但太小除非改动没有成本,通常不行动
p 高于阈值,区间窄且围绕 0超过区间边缘的差距不太可能当作没有有意义的差别
p 高于阈值,区间宽,既包含 0 也包含值得的差距没有定论收集更多数据,或者测更大的改动
看了很多次或比较了很多组之后 p 刚好低于 0.05可能是噪声当作线索,重新检验

「值得的最小差距」是你在检验之前定的业务数字:多大的提升才抵得上这个改动的成本?

常见误区有哪些?

  • 反复偷看,p 一低于 0.05 就停。 每天查看、第一次显著就停止,会让误报率远高于 5%。先定好样本量或运行时长。
  • 只报 p 值。「p = 0.03」没有差距或区间,什么决定也做不了。
  • 把 0.049 和 0.051 当成两个世界。 它们的证据几乎一样。0.05 这条线是惯例,不是自然规律。
  • 测很多个分群,只报告有效的那个。 二十次比较里会有一次因为偶然而「显著」。
  • 对非随机的比较做显著性检验。 如果是人们自己选了用哪个版本,小 p 值只说明差距不太可能是噪声,不说明是这个版本造成的(见 相关与因果)。

怎么用 TapCub 读 p 值?

TapCub 不做 A/B 实验,也不计算 p 值,所以没有自己的显著性检验。它提供上面计算所需的输入,并保持数据干净。下面是 4.0% 对 4.8% 的例子怎么准备。

  1. 取出每个版本的转化数和访客数。 在 网站统计 › 目标 里,读相同日期内每个版本的目标转化数和访客数。如果把版本名作为事件属性发过来,就能直接比较两组的计数。
  2. 只数真人。 TapCub 把机器人和 AI 爬虫分开统计,所以每组 2,500 是真人,不会有爬虫稀释转化率。
  3. 在 TapCub 之外做检验。 把四个数字(每个版本的转化数和访客数)放进你自己的检验工具或计算器,除了 p 值也要记下区间。TapCub 只负责衡量,不做检验。
  4. 在趋势里对比同一时段。 在 全端分析 › 行为分析 › 事件分析 里用对比选项把一个时段和上一时段并排,并在 配置 › 日期标注 里标出改动,让以后的人知道指标为什么变了。
  5. 给你关心的指标设监控。 在 全端分析 › 智能运营 › 监控 里,对 bounce_rate 这类内置指标设监控,越线时通知你。它只通知,变化是不是真的,仍由你来判断。

FAQ

p 值等于 0.05 是什么意思?

如果没有真实差别,在大约 100 次重复实验里,有 5 次会出现至少和你一样大的差距。它是把结果称为统计显著的惯例阈值,不是衡量发现有多可能为真的指标。

p 值很高说明什么?

p 值高说明你看到的差距,是在什么都没发生时随机波动经常产生的那种差距。它不能证明没有效果。样本小时,差距周围的区间仍可能包含很大的真实效果。

p 值是原假设为真的概率吗?

不是。p 值是在假设原假设为真的前提下算出来的,所以不可能给出它为真的概率。要得到那个概率,需要先验信息和另一种方法,比如贝叶斯分析。

p 值显著但不重要,可能吗?

可能。访客足够多时,转化率 0.2 个点的差别也能达到 p < 0.001。要把差距和它的区间与 p 值一起读,并拿区间下端和能抵得上改动成本的最小差距比较。

应该一直用 0.05 吗?

不应该。它只是惯例。要在检验之前,根据误报和漏报的代价选阈值,并在报告里说明。如果做了很多比较,就收紧阈值或按检验次数校正。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

许安

客户体验顾问

关注在线客服、访客沟通与自助服务,分享常见问题的处理思路和可复用流程,让每一次沟通更清晰有效。

为每次对比拿到干净的计数

按版本给出目标转化数和访客数,机器人和 AI 爬虫分开统计,所以送进检验的是真人的数字。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie