免费工具 P 值计算器（附 P 值计算公式）
检验给出了一个 z 值或 t 值，把它填进来就能得到 P 值：如果其实没有任何差异，看到这么极端或更极端结果的概率。做 t 检验时再填上自由度。
- 正态分布或 t 分布
- 单尾、双尾可选
- 本地计算
填入检验统计量
z 检验时自由度留空；填了自由度，计算器就改用 t 分布。
检验结果里的 z 值或 t 值。负数和正数按绝对值处理，结果一样。
z 检验留空。小于 1 的值会被忽略；可以带小数，例如 Welch t 检验给出的自由度。
检验任一方向的差异用双尾。只有开测前就定好方向时才用单尾。
P 值
0.020
假设没有真实差异时，出现至少这么极端的统计量的概率。
分享这组输入：数值写在链接的 # 后面，不会发到服务器。
https://tapcub.com/zh/tools/p-value-calculator
版本 v1.0更新于 更新记录
P 值说明什么，不说明什么
P 值衡量的是「如果什么都没发生，这组数据有多意外」。它不衡量你的假设有多大可能是对的，也不衡量差异有多大。
P 值
z = 2.33、双尾时 P = 0.020：如果两组其实没有差异，出现这么极端的结果大约是百分之二的概率。换成 t = 2.1、自由度 38，P = 0.042。
临界值
统计量本身的门槛。双尾 5% 时 z 的临界值是 1.960；t 的临界值更大，且随自由度变化（自由度 38 时为 2.024）。
结论
计算器拿 P 值和 0.05 比较。低于它，在 5% 水平上显著；等于或高于它，数据和「没有差异」并不矛盾。
显著不等于差异大
样本足够大时，很小的差异也能得到很小的 P 值。下结论前，把差异大小或置信区间放在旁边一起看。
0.04、0.06 这种贴着门槛的 P 值，两边的证据都很弱。0.05 是约定俗成的线，不是悬崖。
从检验结果里取三个输入
多数统计软件会输出检验统计量。软件没给 P 值时用这里换算，给了也可以拿来核对。
-
1
抄下统计量
取检验给出的 z 值或 t 值。比较两个转化率时，转化率计算器会直接给出 z 值。
-
2
t 检验填自由度
单样本 t 检验：自由度 = n − 1；两独立样本合并方差 t 检验：自由度 = n₁ + n₂ − 2。z 检验留空。
-
3
选单尾或双尾
除非收集数据前就定好了方向，否则用双尾。看完数据再改成单尾，等于凭空把 P 值砍半，不成立。
从检验统计量到 P 值
P 值是分布尾部、比你的统计量更极端那部分的面积。不填自由度时用标准正态分布；填了就用 t 分布，样本小时它的尾巴更厚。
- 双尾 P 值把两边的尾巴都算上：离 0 至少这么远，不管哪个方向
- 单尾 P 值是双尾的一半，前提是统计量的方向和你事先预测的一致
- 自由度很大时，t 分布和正态分布给出的 P 值几乎一样
- 临界值就是让 P 值正好等于 0.05 的那个统计量
双尾，z 检验
P = 2 ×（1 − Φ(|z|)）
z = 2.33：2 ×（1 − 0.9901）= 0.020
单尾，z 检验
P = 1 − Φ(|z|)
z = 2.33：0.0099
双尾，t 检验
P = P(|T| ≥ |t|)，T 服从自由度为 df 的 t 分布
t = 2.1、自由度 38：P = 0.042
5% 临界值
z* = 1.960（双尾）、1.645（单尾）；t* 随自由度变化
自由度 38：t* = 2.024（双尾）
同一个统计量，不同设置
两组用户各 20 人，比较平均客单价，t 检验得到 t = 2.1、自由度 38。下表看单尾、双尾和自由度怎样改变 P 值，最后一列和 0.05 比较。
| 统计量 | 自由度 | 尾数 | P 值 | 5% 临界值 | 5% 水平显著？ |
|---|---|---|---|---|---|
| t = 2.10 | 38 | 双尾 | 0.042 | 2.024 | 是 |
| t = 2.10 | 9 | 双尾 | 0.065 | 2.262 | 否 |
| t = 2.10 | —（按 z） | 双尾 | 0.036 | 1.960 | 是 |
| t = 2.10 | 38 | 单尾 | 0.021 | 1.686 | 是 |
| z = 1.50 | — | 双尾 | 0.134 | 1.960 | 否 |
| z = 3.30 | — | 双尾 | < 0.001 | 1.960 | 是 |
同样是 2.10，自由度 38 时显著，自由度 9（两组合计 11 人）时不显著：样本小，t 分布尾巴厚，门槛更高。把它当 z 值算，会得到偏小的 0.036。示例数据。
P 值常被怎么误读
计算是精确的，出错多在解读。
「有 95% 的把握新版更好」
P = 0.05 不代表效果真实存在的概率是 95%。它描述的是「假设没有差异」时数据的样子，不是假设本身的概率。
看完数据再选单尾
看到方向后再改单尾，P 值白白减半。计算器选单尾时也是直接减半，只在方向事先定好时使用。
测到显著为止
做 20 个其实没有差异的比较，至少有一个低于 0.05 的概率约 64%。先定指标和检验方法，再看数据。
小样本用 z
样本小时应该用 t 分布。把自由度 9 的 t = 2.10 当成 z，P 值会从 0.065 变成 0.036。
检验之前，先把数统计干净
P 值的可信度取决于背后的数。TapCub 让这些数口径一致：每个转化事件只定义一次，漏斗按固定时间窗口统计，机器人不进分母。
P 值怎么计算？计算公式是什么？
先由检验得到统计量，再查它在分布里的尾部面积。双尾 z 检验的 P 值计算公式：P = 2 ×（1 − Φ(|z|)），Φ 是标准正态分布函数，z = 2.33 时 P = 2 ×（1 − 0.9901）= 0.020；单尾取一半，0.0099。t 检验把 Φ 换成对应自由度的 t 分布。Excel 里可以用 2*(1-NORM.S.DIST(2.33,TRUE)) 核对。
P 值是什么？
P 值是在「没有真实差异」（原假设）成立的前提下，得到至少和观测结果一样极端的检验统计量的概率。P 值越小，说明如果真的什么都没发生，这组数据就越意外。
t 值怎么换算成 P 值？
还需要自由度：单样本 n − 1，两独立样本合并方差 n₁ + n₂ − 2，Welch 检验用软件给出的小数自由度。t = 2.1、自由度 38，双尾 P = 0.042。Excel 里可以用 T.DIST.2T(2.1, 38) 核对。
单尾还是双尾？
绝大多数情况用双尾，A/B 测试也一样，因为改动可能让结果变好，也可能变差。只有收集数据前就定了方向，并且反方向的结果和「没效果」同样处理时，才适合单尾。
P 值小于 0.05，是不是说明有 95% 的把握结果是真的？
不是。P 值是在「没有差异」的前提下算出来的，它给不出「有差异」的概率，只说明在没有差异时这组数据有多少见。
P 值多少算好？
没有好坏之分，只有开测前选定的门槛。0.05 是常用约定，0.01 更严格。略高于门槛不能证明没有差异，略低于门槛也不能证明差异很大。
P 值和 pH 值是一回事吗？
不是。P 值是统计学概念，表示检验结果的显著程度，取值在 0 到 1 之间；pH 值是化学里的酸碱度，取值通常在 0 到 14 之间。两者只是写法相近。