一句话回答
留出组是从受众里随机抽出的一部分人,故意不让他们接触某个活动、功能或改动,之后把他们的结果和其他人比较。差距就是这个改动带来的部分;没有留出组,你分不清它和「本来就会发生」的部分。
留出组是什么
留出组(holdout group)是从受众里随机抽出的一部分人,故意不让他们接触某个活动、功能或改动,之后拿他们的结果和接触到的所有人比较。两组之间的差距,就是这个改动真正带来的部分。没有留出组,你分不清它和「本来就会发生」的部分:本来就要购买、回访或升级的人,不管你联不联系都会做。
单独的「hold out」是个普通动词,意思是撑住或等一个更好的条件;本页讲的是这个度量工具。留出组用在两种场合:活动留出组(广告、邮件、推送)和产品工作里的全局留出组,后者让一小部分用户停留在旧体验,同时发布新功能。想看同一个想法在营销里的说法,见增量。
留出组、对照组和 A/B 测试的区别
| 活动留出组 | A/B 测试的对照组 | 全局留出组 | |
|---|---|---|---|
| 被留出的是什么 | 一次活动或一条消息 | 正在测试的那个版本 | 一段时间里发布的全部改动 |
| 持续多久 | 活动期间 | 一次实验 | 一个较长的时期,跨多个版本 |
| 衡量什么 | 这次活动额外带来的结果 | 各版本之间的差异 | 所有改动的合并效果,包括相互影响 |
| 常见规模 | 由要检出的效应大小决定(见下文) | 测试流量的分配 | 很小:Amplitude 建议占流量的 1% 到 10%,Spotify 把 1% 到 5% 说成常见做法 |
全局留出组回答的是单个测试回答不了的问题:十个功能各自赢了自己的测试,合在一起可能互相冲突,只有一组一个都没见过的用户,才能显示净结果。Spotify 的术语页也列了它的局限:小的留出组可能看不出温和的效应;留出组的用户拿不到改进(所以修复和合规改动通常对他们豁免);时间久了,这一组和线上产品差得太远,可能需要释放并重建。留出组是一种设计选择,不是实验平台。
算例:带 10% 留出组的召回邮件
示例数据:20,000 个已经 90 天没有活跃的用户。随机留出 10%,其余 90% 收到召回邮件。成功的定义是 14 天内回访。
| 组 | 人数 | 回访 | 回访率 |
|---|---|---|---|
| 发了邮件 | 18,000 | 1,080 | 6.0% |
| 留出组,没发邮件 | 2,000 | 90 | 4.5% |
| 差值 | +1.5 个百分点 |
复算方法:1,080 ÷ 18,000 = 6.0%;90 ÷ 2,000 = 4.5%;6.0% − 4.5% = 1.5 个百分点。相对提升 = 1.5 ÷ 4.5 = 33.3%。增量回访 = 0.015 × 18,000 = 270。邮件带来的占比 = 270 ÷ 1,080 = 25.0%;另外 810 人本来也会回来。
用两比例检验(NIST/SEMATECH 手册里的方法)能量化噪声:合并比例是 1,170 ÷ 20,000 = 5.85%,标准误约为 0.00553,所以 z = 0.015 ÷ 0.00553 ≈ 2.71,p ≈ 0.007。差值的 95% 置信区间约为 +0.5 到 +2.5 个百分点。没有留出组的看板会把全部 1,080 次回访都记给邮件,是它真正带来的 270 次的四倍。
留出组有代价:2,000 × 1.5% = 30 次回访没有发生,因为这些人没收到邮件。这就是「知道答案」的成本。
留出组该多大
要从你愿意据此行动的最小差异来定规模。示例数据:同样的 20,000 个用户、同样 4.5% 的基线,检验功效 80%、显著性水平 5%:
| 留出比例 | 发送 | 留出 | 能检出的最小差异 |
|---|---|---|---|
| 2% | 19,600 | 400 | 2.95 个百分点 |
| 5% | 19,000 | 1,000 | 1.90 个百分点 |
| 10% | 18,000 | 2,000 | 1.39 个百分点 |
| 20% | 16,000 | 4,000 | 1.05 个百分点 |
| 50% | 10,000 | 10,000 | 0.86 个百分点 |
复算方法:能检出的差异 d 满足 d =(1.96 + 0.84)× √(0.045 × 0.955 ÷ n留出 +(0.045 + d)(0.955 − d)÷ n发送)。两组一样大时,要检出 4.5% 对 6.0%,每组大约需要 3,463 人。表里 2% 的留出组只能看出接近 3 个百分点的差距,差不多是本例 1.5 个百分点的两倍;10% 的留出组能看到 1.4 个百分点,这就是为什么例子里 1.5 个百分点的差距能被检出(功效约 86%)。
由此得到两条规则。如果你关心的最小效应低于留出组能检出的范围,「没有差异」的结果就没有意义;要么加大留出组、扩大受众,要么接受更粗的答案。另一条:留出的每多一个百分点,就是多一部分人享受不到处理,所以停在能检出你需要的效应的规模就够了。度量广告回报出了名地嘈杂:Lewis 和 Rao(2015)指出,相对于一次活动的效果,销售额的波动太大,实验往往需要非常大的样本。另见最小可检测效应。
怎么设置一个可信的留出组
- 在投放之前随机分配。 用随机抽取或对 ID 取哈希,绝不能图方便:「没有邮箱的人」或「名单最后的 10%」都和行为相关,会让结果产生偏差。
- 固定规模和分组。 上线后不要改留出比例;Amplitude 的工具就不允许修改。同一个人在整个周期里应该留在同一组。
- 堵住所有触达留出组的途径。 如果留出组成员从别的渠道收到同样的优惠,差距就会缩小。
- 先定指标和窗口。 比如:发送日起 14 天内回访。
- 核对分组和计划一致。 计划是 18,000 和 2,000;如果看到 17,200 和 2,800,先查清原因再看结果。
- 豁免人们需要的东西。 对全局留出组,缺陷修复和合规改动通常是对所有人发布的。
- 让旧的留出组退役。 留了一年的留出组可能和线上产品脱节;提前规划什么时候释放。
留出组的常见错误
- 把「没看到的人」叫作留出组。 如果他们没被定向、或者自己选择不打开邮件,那么测试开始前他们就和接触组不同;这是选择偏差,不是留出组。
- 把小留出组的「没有差异」读成「没有效应」。 它可能只说明测试看不出这么大的效应。
- 差距看着不错就停。 每天查看、第一次出现显著就停,会抬高假阳性;见序贯检验。
- 只相信平台报告的转化。 平台会把看过广告的人的每一次转化都记功;留出组才能显示其中有多少是广告带来的。再营销那页对广告做了完整演算。
- 把留出组当成投放目标。 它的作用是度量,不是一份你在同一次测试里随后又去发信的名单。
在 TapCub 里怎么做留出组
假设这 20,000 个已经沉默的用户在 TapCub 里是已识别的用户。TapCub 不发邮件也不投广告,不分流,也不做 A/B 测试。它能保存这两组人并衡量他们。
- 建受众。 在全端分析 › 用户 › 分群与标签里,为这批沉默用户建一个规则分群,比如「做过至少一次
purchase」且「近 90 天没做过purchase」。先预览人数。 - 分出留出组。 加上随机分桶条件。控制台接受 0 到 99 之间的两个数,当作百分比区间,分桶由这个人的 ID 算出,所以同一个人每次刷新都落在同一个桶里。建两个规则分群,每个都把受众分群当作条件:分桶 0–9 是留出组(约 10%),分桶 10–99 是发送组。
- 在 TapCub 之外使用名单。 点「查看用户」打开成员,拿去给你的邮件或广告工具;留出的那个分群就是你要排除的。
- 衡量。 对每个分群点「去分析」,比较同一个事件,比如发送后 14 天内的回访,看两组的差别。本页的 z 检验是在 TapCub 之外做的。
- 了解限制。 匿名访客没有用户档案,永远不会进分群;识别模式没开时,用户口径的分群没有成员。
另见:怎样用保留组计算增量。
另见:功能开关(Feature Flag):定义、放量方法与衡量。
资料来源
- Spotify Confidence,What is a holdout group?:留出组与 A/B 测试对照组的区别、累计效果和局限。
- Amplitude 文档,Holdout groups:用途、1% 到 10% 的规模建议,以及加入实验的规则。
- NIST/SEMATECH 统计方法电子手册,7.3.3 How can we determine whether two processes produce the same proportion of defectives?:例子里用的两比例检验。
- Lewis, R. A. 和 Rao, J. M.(2015)。The Unfavorable Economics of Measuring the Returns to Advertising。《Quarterly Journal of Economics》,130(4)。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
