什么是统计功效？定义、样本量和示例

什么是统计功效？

统计功效是在效应确实存在时，检验能把它检测出来的概率。功效 80% 的检验，在重复 100 次时，有 80 次能发现你预先设定大小的真实差异；另外 20 次会漏掉（这就是第二类错误，也叫假阴性）。

功效 = 1 − β，其中 β 是假阴性率。另一类错误（假阳性）见两类错误的区别。

一起变化的四个量

固定其中三个，第四个就确定了。功效分析做的就是这件事：选定 α、想要的功效和值得检测的最小效应，算出需要的样本量。

计算示例：转化率从 4% 到 5%

你想检测转化率从 4% 提升到 5%，α = 0.05（双侧）：

每组只有 2,000 访客时，真实存在的 1 个百分点提升，三次里有两次会被漏掉。

80% 功效所需样本量的算法：

n ≈ (1.96 + 0.84)² × [0.04 × 0.96 + 0.05 × 0.95] / (0.05 − 0.04)² ≈ 每组 6,742

提高功效的五种方法

1. 跑得更久，或纳入更多流量。 最直接的办法。
2. 测试更大的改动。 小修小补带来的效应小，需要巨大的样本。
3. 换一个噪声小的指标。 「点了下一步」比「每访客收入」波动小。
4. 用改动前的数据降低方差。 CUPED 这类方法会根据每个用户过去的行为做调整。
5. 一次少测几样。 比较越多就要用越严的 α（比如 Bonferroni 校正），每个比较的功效就更低。

为什么功效不足代价高

• 它会漏掉真实的改进，好想法被放弃。
• 它真的达到显著时，观察到的效应通常偏大（有时叫赢家诅咒），据此做的预测会让人失望。
• 「不显著」被汇报成「没效果」，其实不是。除了 p 值，也要报告置信区间。

从 TapCub 里估计输入

TapCub 不跑 A/B 测试，但能给出功效分析需要的输入：你要测的目标的基线转化率，以及相关页面或分群的每周流量。用所需样本量除以每周访客数，就知道一个测试大概要跑多久。如果答案是好几个月，就去测更大的改动，或者换一个流量更大的环节。另见最小可检测效应。