什么是 p 值？含义、0.05 的来历和一个 A/B 测试例子

什么是 p 值？

p 值只回答一个很窄的问题：如果其实没有差别，看到至少这么极端的结果有多常见？「没有差别」这个假设叫原假设。

• p 值小（比如 0.01）：如果什么都没发生，你的结果会很少见，所以有证据反对原假设。
• p 值大（比如 0.40）：单靠偶然也经常出现这样的结果，数据分不清是真效果还是噪声。

测试前要先定一个门槛，通常是 0.05。p 低于它，就叫统计显著。这只是惯例，不是自然规律；美国统计协会专门提醒不要把 0.05 当成一条硬线。

一个 A/B 测试例子

注册页测试（示例数据）。原版转化率 4.0%，新版 4.8%，相对提升 20%。这是真的吗？

转化率一样、提升一样，结论却不一样。每组 5,000 人时，就算其实没有差别，大约每 100 次也会出现 5 次这么大的差距，刚好在 0.05 线上方。流量翻倍后，同样的差距靠偶然就很少见了（每 1,000 次 6 次）。p 值由效果大小和样本量一起决定。

p 值不能说明什么

1. 它不是原假设成立的概率。 p = 0.03 不等于「有 3% 的可能没有差别」。
2. 它不是新版本更好的概率。 那是另一个（贝叶斯）问题。
3. 它不是效果的大小。 一定要同时报告提升幅度和置信区间。
4. 它不是保证。 门槛定在 0.05 时，改了等于没改的测试，大约每 20 次仍有 1 次会显示「显著」，这就是 I 型错误。
5. 边看边停就不成立了。 每天看一次、第一次 p < 0.05 就停，误报率会远高于 5%。

产品决策里怎么用 p 值

1. 开始前定好门槛和样本量，依据是基线转化率和值得上线的最小提升。方法见怎么计算统计显著性。
2. 跑满计划的样本，覆盖完整的周，抵消工作日和周末的差别。
3. p 值要和提升幅度、区间一起看。 显著但只提升 0.1% 可能不值得上线；不显著但提升 15% 可能值得延长测试。
4. 如实计算测试次数。 同时比十个指标，总有一个会碰巧显著；事先选定一个主指标。
5. 记住实验设计。 p 值只说明差别不太像噪声；只有随机分组的测试才能说是改动造成的（见相关不等于因果）。