一句话回答
均值回归是一种统计规律:一次因为部分偶然因素而特别高或特别低的测量结果,之后的测量往往更接近平均水平,哪怕什么都没有改变。
公式: 观测值 = 真实水平 + 随机噪声;挑极端值等于挑到了大噪声
什么是均值回归?
均值回归是指一个特别高或特别低的结果之后,往往跟着一个更接近平均的结果,哪怕什么都没变。弗朗西斯·高尔顿在 1886 年描述过它:特别高的父母,孩子往往也高,但没那么极端。
它不是把东西拉回去的某种力量,而是一种选择效应。
为什么会发生
每个测量值都是稳定水平加随机噪声:
观测值 = 真实水平 + 噪声
当你挑出最极端的结果(最差的一周、效果最突出的活动、转化率最低的页面),挑到的大多是噪声恰好很大的情况。下一个周期噪声重新随机,这些情况就会往它们的真实水平靠回去。
指标噪声越大(样本少、时间短),这个效应越明显。
一个示例:修最差的页面
SEO 团队找出上个月转化率最低的 20 个商品页并重写(示例数字):
| 分组 | 第 1 个月 | 第 2 个月 | 变化 |
|---|---|---|---|
| 最差的 20 页,已重写 | 1.1% | 1.9% | +0.8 个百分点 |
| 排在其后的 20 页,未改动(对照) | 1.2% | 1.8% | +0.6 个百分点 |
没有对照组时,重写看起来让转化率提高了 0.8 个百分点;有了对照组就知道,大部分回升本来就会发生,重写的真实效果大约只有 +0.2 个百分点。全站平均两个月都是 2.0%。
团队常在哪里被误导
- 对最差的那批采取措施。 辅导表现最差的客服、修转化最低的页面、重新投放效果最差的活动,它们本来就会部分自己好转。
- 表彰表现突出的。 上季度表现排名靠前的渠道,这季度让人失望。
- 告警。 某天数据特别低触发了告警,第二天往往什么都没做就「恢复」了。再叠加近因偏差,团队就容易反应过度。
- 前后对比研究。 因为某个月表现差才加入项目的用户,之后看起来自然会更好。
怎么防范
- 用对照组:用同样方式挑出来(同样极端)、但不做改动的一组。
- 挑选和评估用不同时段。 不要用挑出它们的那份数据来评判效果。
- 用更长的时段、更大的样本,让噪声在每个数值里占比更小。
- 和基线比,而不是和那个极端点比。
在 TapCub 里
从报表里挑要修的页面或渠道时,顺便记下一组相似但不动的作为对照,一个月后用「上一周期」对比两组。改动当天加一条日期标注。告警方面,带基线的监控条件更稳:「预测基线」和最近 7 天、同星期几比较,「异常检测」用 28 天内同星期几的数据,单独一天的波动影响更小。另见选择偏差。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
