贝叶斯和频率学派：同一个 A/B 测试的两种分析

A/B 测试工具要么报「统计显著」，要么报「胜出概率」，两者常常看起来对不上。本文用浅白的话讲清两种做法，把同一个测试两种方法并排分析一遍，并讲先验、中途偷看和怎么选。

看待不确定性的两种方式

频率学派把真实转化率看成一个固定但未知的数。概率描述的是重复做很多次实验时会发生什么。常见的产出是 p 值和置信区间：「如果其实没有差别，这么极端的数据出现的概率是 9.7%」。

贝叶斯学派把这个未知的转化率看成你可以持有信念的东西。先有一个先验信念，用数据更新，得到后验分布。常见的产出是一个直接的概率：「B 转化比 A 好的概率是 95%」。

两者都成立。它们回答不同的问题，数据足够多时通常结论一致。

放在一起对比

下表在对产品和营销测试要紧的几点上，对比两种做法。

样本大、先验平坦时，两种方法通常导向同一个决定。

同一个 A/B 测试，两种分析

版本 A 4,000 个访客中转化 180 个（4.5%），版本 B 4,000 个中转化 212 个（5.3%），相差 0.8 个百分点（示例数字）。

频率学派分析（两比例 z 检验）：

• z ≈ 1.66，双侧 p ≈ 0.097
• 差值的 95% 置信区间：约 −0.15 到 +1.75 个百分点
• 按常用的 5% 水平：不显著，数据排除不了「没有差别」

贝叶斯分析（两个转化率都用平坦的 Beta(1,1) 先验）：

• B 更好的概率：约 95.2%
• 差值的 95% 可信区间：约 −0.14 到 +1.75 个百分点
• 选 B 而 B 其实更差时的期望损失：约 0.01 个百分点的转化率

同一份数据，区间几乎一样，但标题听起来很不一样。「不显著」和「B 更好的概率 95%」都是对的描述，只是回答的问题不同。

各自的结果没有说什么

• p 值 0.097不是「有 9.7% 的概率没有差别」。它是「假如没有差别，出现这么极端数据的概率」。见 p 值。
• B 更好的概率 95%不是「B 好很多的概率 95%」。B 可能只好 0.05 个百分点。要看差距有多大，而不只是方向。
• 两者都不能告诉你这个提升值不值得上线。那要看改动的成本和效果的大小。

实践中的先验

先验是你看到数据之前的信念。像上面那样用平坦先验时，贝叶斯区间和频率学派区间很接近。有信息的先验，比如「我们的测试大多只让转化相对变化不到 5%」，会把早期的极端结果往 0 拉，减少空欢喜。每个版本有几千个访客时，数据占主导，先验影响很小。

中途偷看和提前停止

频率学派的测试每天看一次、p 一低于 0.05 就停，会大大推高假阳性。贝叶斯结果常被说成「可以随便看」，但概率一过 95% 就停，同样会偏向碰巧走运的那段。无论哪种：提前定好样本量或最短运行时间（见最小可检测效应），至少跑满一周；一定要中途看，就用序贯检验的方法。

该用哪个

• 你的测试工具用哪种就用哪种，并学会正确解读。
• 频率学派适合需要在大量测试里控制固定错误率，或者评审方要看 p 值的时候。
• 贝叶斯适合大家需要一个直接的概率和期望损失来做业务决定的时候。
• 两种情况下，都要用区间报告差距有多大，而不只是给一个是或否。见置信区间怎么算。

从 TapCub 拿到计数

TapCub 不分流、也不运行测试，但能给你干净的输入：每个版本的转化数和访客数。把版本作为事件属性发送，然后在 网站统计 › 目标 或 全端分析 里，用同样的日期范围和筛选，按属性的每个取值对比目标或漏斗。把这些计数用到上面任意一种分析里。另见统计显著性。