TapCub 正式上线:统计、分析、客服一个平台免费用
术语表

留出组是什么?定义、规模怎么定和一个算例

留出组是受众里随机抽出的一部分人,故意不让他们接触某个活动或改动,这样就能看出它带来了什么。本文给出一个邮件算例,讲留出组规模如何决定能检出的效应,以及设置规则。

艾玛·柯林斯 审核人 苏禾 又称 holdout 最后更新 2026 年 11 月 17 日 术语表

一句话回答

留出组是从受众里随机抽出的一部分人,故意不让他们接触某个活动、功能或改动,之后把他们的结果和其他人比较。差距就是这个改动带来的部分;没有留出组,你分不清它和「本来就会发生」的部分。

留出组是什么

留出组(holdout group)是从受众里随机抽出的一部分人,故意不让他们接触某个活动、功能或改动,之后拿他们的结果和接触到的所有人比较。两组之间的差距,就是这个改动真正带来的部分。没有留出组,你分不清它和「本来就会发生」的部分:本来就要购买、回访或升级的人,不管你联不联系都会做。

单独的「hold out」是个普通动词,意思是撑住或等一个更好的条件;本页讲的是这个度量工具。留出组用在两种场合:活动留出组(广告、邮件、推送)和产品工作里的全局留出组,后者让一小部分用户停留在旧体验,同时发布新功能。想看同一个想法在营销里的说法,见增量。

留出组、对照组和 A/B 测试的区别

活动留出组A/B 测试的对照组全局留出组
被留出的是什么一次活动或一条消息正在测试的那个版本一段时间里发布的全部改动
持续多久活动期间一次实验一个较长的时期,跨多个版本
衡量什么这次活动额外带来的结果各版本之间的差异所有改动的合并效果,包括相互影响
常见规模由要检出的效应大小决定(见下文)测试流量的分配很小:Amplitude 建议占流量的 1% 到 10%,Spotify 把 1% 到 5% 说成常见做法

全局留出组回答的是单个测试回答不了的问题:十个功能各自赢了自己的测试,合在一起可能互相冲突,只有一组一个都没见过的用户,才能显示净结果。Spotify 的术语页也列了它的局限:小的留出组可能看不出温和的效应;留出组的用户拿不到改进(所以修复和合规改动通常对他们豁免);时间久了,这一组和线上产品差得太远,可能需要释放并重建。留出组是一种设计选择,不是实验平台。

算例:带 10% 留出组的召回邮件

示例数据:20,000 个已经 90 天没有活跃的用户。随机留出 10%,其余 90% 收到召回邮件。成功的定义是 14 天内回访。

组人数回访回访率
发了邮件18,0001,0806.0%
留出组,没发邮件2,000904.5%
差值+1.5 个百分点

复算方法:1,080 ÷ 18,000 = 6.0%;90 ÷ 2,000 = 4.5%;6.0% − 4.5% = 1.5 个百分点。相对提升 = 1.5 ÷ 4.5 = 33.3%。增量回访 = 0.015 × 18,000 = 270。邮件带来的占比 = 270 ÷ 1,080 = 25.0%;另外 810 人本来也会回来。

用两比例检验(NIST/SEMATECH 手册里的方法)能量化噪声:合并比例是 1,170 ÷ 20,000 = 5.85%,标准误约为 0.00553,所以 z = 0.015 ÷ 0.00553 ≈ 2.71,p ≈ 0.007。差值的 95% 置信区间约为 +0.5 到 +2.5 个百分点。没有留出组的看板会把全部 1,080 次回访都记给邮件,是它真正带来的 270 次的四倍。

留出组有代价:2,000 × 1.5% = 30 次回访没有发生,因为这些人没收到邮件。这就是「知道答案」的成本。

留出组该多大

要从你愿意据此行动的最小差异来定规模。示例数据:同样的 20,000 个用户、同样 4.5% 的基线,检验功效 80%、显著性水平 5%:

留出比例发送留出能检出的最小差异
2%19,6004002.95 个百分点
5%19,0001,0001.90 个百分点
10%18,0002,0001.39 个百分点
20%16,0004,0001.05 个百分点
50%10,00010,0000.86 个百分点

复算方法:能检出的差异 d 满足 d =(1.96 + 0.84)× √(0.045 × 0.955 ÷ n留出 +(0.045 + d)(0.955 − d)÷ n发送)。两组一样大时,要检出 4.5% 对 6.0%,每组大约需要 3,463 人。表里 2% 的留出组只能看出接近 3 个百分点的差距,差不多是本例 1.5 个百分点的两倍;10% 的留出组能看到 1.4 个百分点,这就是为什么例子里 1.5 个百分点的差距能被检出(功效约 86%)。

由此得到两条规则。如果你关心的最小效应低于留出组能检出的范围,「没有差异」的结果就没有意义;要么加大留出组、扩大受众,要么接受更粗的答案。另一条:留出的每多一个百分点,就是多一部分人享受不到处理,所以停在能检出你需要的效应的规模就够了。度量广告回报出了名地嘈杂:Lewis 和 Rao(2015)指出,相对于一次活动的效果,销售额的波动太大,实验往往需要非常大的样本。另见最小可检测效应。

怎么设置一个可信的留出组

  1. 在投放之前随机分配。 用随机抽取或对 ID 取哈希,绝不能图方便:「没有邮箱的人」或「名单最后的 10%」都和行为相关,会让结果产生偏差。
  2. 固定规模和分组。 上线后不要改留出比例;Amplitude 的工具就不允许修改。同一个人在整个周期里应该留在同一组。
  3. 堵住所有触达留出组的途径。 如果留出组成员从别的渠道收到同样的优惠,差距就会缩小。
  4. 先定指标和窗口。 比如:发送日起 14 天内回访。
  5. 核对分组和计划一致。 计划是 18,000 和 2,000;如果看到 17,200 和 2,800,先查清原因再看结果。
  6. 豁免人们需要的东西。 对全局留出组,缺陷修复和合规改动通常是对所有人发布的。
  7. 让旧的留出组退役。 留了一年的留出组可能和线上产品脱节;提前规划什么时候释放。

留出组的常见错误

  • 把「没看到的人」叫作留出组。 如果他们没被定向、或者自己选择不打开邮件,那么测试开始前他们就和接触组不同;这是选择偏差,不是留出组。
  • 把小留出组的「没有差异」读成「没有效应」。 它可能只说明测试看不出这么大的效应。
  • 差距看着不错就停。 每天查看、第一次出现显著就停,会抬高假阳性;见序贯检验。
  • 只相信平台报告的转化。 平台会把看过广告的人的每一次转化都记功;留出组才能显示其中有多少是广告带来的。再营销那页对广告做了完整演算。
  • 把留出组当成投放目标。 它的作用是度量,不是一份你在同一次测试里随后又去发信的名单。

在 TapCub 里怎么做留出组

假设这 20,000 个已经沉默的用户在 TapCub 里是已识别的用户。TapCub 不发邮件也不投广告,不分流,也不做 A/B 测试。它能保存这两组人并衡量他们。

  1. 建受众。 在全端分析 › 用户 › 分群与标签里,为这批沉默用户建一个规则分群,比如「做过至少一次 purchase」且「近 90 天没做过 purchase」。先预览人数。
  2. 分出留出组。 加上随机分桶条件。控制台接受 0 到 99 之间的两个数,当作百分比区间,分桶由这个人的 ID 算出,所以同一个人每次刷新都落在同一个桶里。建两个规则分群,每个都把受众分群当作条件:分桶 0–9 是留出组(约 10%),分桶 10–99 是发送组。
  3. 在 TapCub 之外使用名单。 点「查看用户」打开成员,拿去给你的邮件或广告工具;留出的那个分群就是你要排除的。
  4. 衡量。 对每个分群点「去分析」,比较同一个事件,比如发送后 14 天内的回访,看两组的差别。本页的 z 检验是在 TapCub 之外做的。
  5. 了解限制。 匿名访客没有用户档案,永远不会进分群;识别模式没开时,用户口径的分群没有成员。

另见:怎样用保留组计算增量。

另见:功能开关(Feature Flag):定义、放量方法与衡量。

资料来源

这个解释清楚吗?

我们会根据反馈修改和补充这篇内容。

艾玛·柯林斯

产品分析师

聚焦事件分析、转化漏斗与用户留存,用清晰的指标定义和分析框架解释产品表现。

常见问题

常见追问

大家看完定义后最常问的几个问题。

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

留出组是什么?

留出组是受众里随机抽出、不参与某个活动、功能或改动的一部分人。把它和接触了改动的那一组比较,就能看出这个改动额外带来的结果。

留出组该多大?

要从你愿意据此行动的最小差异来定。Amplitude 对全局留出组建议占流量的 1% 到 10%。本文的示例里,20,000 个用户的 10% 留出组能检出 1.4 个百分点的差距,2% 只能检出接近 3 个百分点。

留出组和对照组有什么区别?

对照组只持续一次 A/B 测试,和一个版本比较。留出组,特别是全局留出组,可以跨多个版本一直不接触改动,显示所有已发布内容的合并效果。

为什么不直接比较看过和没看过消息的人?

这两群人在测试开始前就不一样:愿意打开或被定向的人,本来就更可能行动。只有随机分配的留出组才能消除这种选择偏差。

在你自己的网站上看这个数字

加一行脚本就能开始,网站和 App 都能接,几分钟内就能看到第一批报表。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie