效应量：是什么、怎么算，为什么只看 p 值不够

什么是效应量？

效应量（Effect Size）衡量一个差异或关系有多大，和它是否统计显著是两回事。p 值告诉你效果大概率是不是真的；效应量告诉你它大到值不值得在意。

效应量有两种形式：

• 原始单位： 用指标本身的单位表示，比如「转化率 +0.6 个百分点」「客单价 +4 美元」「相对提升 2.5%」。大多数业务决策要的是这个。
• 标准化： 除以离散程度，方便跨指标、跨研究比较。常见的有 Cohen's d、Cohen's h 和相关系数 r。

效应量公式

两个均值用 Cohen's d：

d = (均值₂ − 均值₁) ÷ 合并标准差
合并标准差 ≈ √((SD₁² + SD₂²) ÷ 2)（两组样本量相同时）

两个比例（如转化率）用 Cohen's h：

h = 2 × arcsin(√p₂) − 2 × arcsin(√p₁)

两个数值变量线性关系的强弱用相关系数 r，范围 −1 到 1。

Cohen 的惯用参考值：

这些是 Cohen 给行为科学在没有更好依据时用的。产品和营销数据里，大多数真实效果按这个标准都算「小」，却可能值几百万，所以要拿业务来衡量大小，不要只看标签。

计算示例：显著不等于大

三组对比，都是示例数据：

怎么读：

• 头一组「显著」只是因为样本巨大。相对提升 2.5% 值不值得这个改动的成本，p 值回答不了。
• 第二组不显著，但观察到的提升是头一组的十倍。只是样本太小、没法确定；诚实的结论是「可能是个大效果，需要更多数据」，而不是「没有效果」，见统计功效。
• 第三组说明业务里标准化标签会误导人：d = 0.08 按 Cohen 的标准「可以忽略」，但每单多 4 美元、每周 2,000 单，一年就是 41.6 万美元。

为什么效应量重要

• 决策需要大小。 「值不值得上线」取决于收益相对于成本和风险有多大。
• 规划实验。 值得检测的最小效果，也就是最小可检测效应，决定了需要多少样本。
• 比较结果。 有了效应量，才能比较注册数的变化和收入的变化，或者合并多次研究。
• 避开 p 值的坑。 大样本会让微小效果显著，小样本会掩盖大效果。只报 p 值两种错都容易犯；一心找 p < 0.05，就会走向 p 值操纵。

怎么报告效应量

三样一起报：

1. 业务单位的效果： 变化的百分点和相对变化，比如「+0.6 个百分点（+15%）」。
2. 不确定性： 差值的置信区间，比如「95% 区间 +0.2 到 +1.0 个百分点」。
3. p 值，如果决策规则需要的话。

「转化率从 4.0% 升到 4.6%（+0.6 个百分点，95% 区间 −0.2 到 +1.4）」比「p = 0.14」信息量大得多。见统计显著性和 p 值。

分析数据里的效应量

日常分析很少需要 Cohen's d，有用的效应量都很具体：转化率变了几个百分点、每访客收入、每批用户留存了多少人、每项任务省下几分钟。在 TapCub 里对比时间段或分群时，用计数算出相差的百分点和相对差，再加上区间。在实验工具里跑对照实验时，同时盯住护栏指标，免得一个指标上的正效果掩盖了另一个指标上的负效果。

参考资料

• Sullivan, G. M. and Feinn, R. (2012). Using effect size, or why the P value is not enough. Journal of Graduate Medical Education, 4(3).
• Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences, 2nd ed. Lawrence Erlbaum.
• Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science. Frontiers in Psychology, 4.