TapCub 正式上线:统计、分析、客服一个平台免费用
增长与运营

怎样用保留组计算增量

增量是(实验组转化率 − 保留组转化率)÷ 保留组转化率,要靠随机保留组衡量,不是前后对比。一个从提升算到每个增量转化成本的完整示例,以及误差范围。

艾玛·柯林斯 发布于 2026 年 11 月 19 日 9 分钟阅读 增长与运营
示例数据:市场整体上升 10%,把前后对比的读数抬高到 29.1%。保留组显示真实提升是 17.4%;14.8% 是实验组转化中由活动造成的比例。示例数据

要计算增量,先把受众随机分成实验组和保留组,再算(实验组转化率 − 保留组转化率)÷ 保留组转化率。前后对比做不到这一点,因为季节和其他活动也会让转化变动。示例里 2.70% 对 2.30%,是 17.4% 的提升,多出 360 个转化。

读完你会知道

  • 增量提升 =(实验组转化率 − 保留组转化率)÷ 保留组转化率;除以实验组转化率得到的是另一个数,叫增量占比
  • 隔离活动效果要靠保留组,不是前后对比:市场上升 10%,会把 17.4% 的提升变成 29.1%
  • 报告要带范围:1,000 人的保留组分不清好活动和没有活动

增量公式,以及人们写它的两种方式

增量衡量的是:有多少转化是因为一次营销活动才发生的,没有它就不会发生。计算时,先把受众随机分成看到活动的实验组和没看到活动的保留组(对照组),再比较两组的转化率。Google 关于转化提升(conversion lift)的帮助页描述的是同一种设计:看到广告的处理组、没看到的对照组,两组转化数的差就是提升。

这个比较能得出三个数。

指标公式回答什么问题
增量转化数(实验组转化率 − 保留组转化率)× 实验组人数这次活动多带来了多少转化?
增量提升(实验组转化率 − 保留组转化率)÷ 保留组转化率活动让转化比基线提高了百分之几?
增量占比(实验组转化率 − 保留组转化率)÷ 实验组转化率实验组的转化里,有多大比例没有这次活动就不会发生?

后两个是混淆的来源。用实验组转化率作分母的文章,算的是活动造成的转化占实验组转化的比例;用保留组转化率作分母的文章,算的是相对基线的提升。两者都对,只是回答的问题不同,同样的数据给出不同的百分比,所以一定要说明你指的是哪一个。本文把提升,即(实验 − 保留)÷ 保留,作为主要数字,并把占比放在旁边。

为什么前后对比会给出错误答案

诱人的捷径是拿活动之前的转化和活动期间的转化比。它会失败,因为同时还有别的东西在变:季节、价格、竞争对手的促销、新闻事件、你自己的其他活动。所有让转化变动的因素,都被记到了这次活动头上。

保留组解决了这个问题,因为它和实验组经历同样的几周。季节对其中一组做了什么,对另一组也做了同样的事,所以两组之间的差异就隔离出了活动本身。

本文后面的示例显示了误差可以有多大:整个市场转化上升 10%,会把真实的 17.4% 提升变成表面上的 29.1%。观察性方法也会以同样的方式出错。在 2019 年发表于《Marketing Science》的一项研究中,Gordon 等人分析了 Facebook 的 15 个大型广告实验,把随机实验的结果和常见的观察性方法做了比较,发现观察性方法常常无法重现实验得到的效果,即使有关于这些人的大量数据也是如此。

怎样设计保留组,才能信任结果

计算很简单,测试成败在于设计。

  1. 随机分配人,不要按天分。 把每个人随机分到实验组或保留组,并在整个测试期间保持不变。随意按日或按地区划分,会把你想避免的问题重新带回来。
  2. 保证保留组真的没有接触到。 如果保留组通过别的渠道看到了同样的优惠,比如另一个广告网络或一封邮件,差距就会缩小。要么对两组都暂停重叠的活动,要么至少心里有数。
  3. 事先确定保留组的大小。 保留组小,误差范围就宽,见下表。
  4. 固定衡量窗口。 在看结果之前,先定好曝光之后多久内的转化才算数,例如 7 天。
  5. 只定义一次转化。 一次订单、一次注册、一次付款,两组用同样的方式计数。
  6. 跑得够久, 覆盖正常的每周波动,通常至少一整周,常常是两周。
  7. 不要偷看结果就提前停止。 事先定好停止规则。

示例:90 / 10 的保留组测试

示例数据:目标受众 100,000 人。其中 90,000 人被随机分配去看活动(实验组),10,000 人被保留(保留组)。测试跑了两周,两组在同一个窗口里统计转化。

分组人数转化数转化率
实验组90,0002,4302.70%
保留组10,0002302.30%
  • 转化率之差:2.70% − 2.30% = 0.40 个百分点。
  • 增量提升:0.40 ÷ 2.30 = 17.4%。
  • 增量转化数:0.40% × 90,000 = 360。
  • 增量占比:360 ÷ 2,430 = 14.8%,等于 0.40 ÷ 2.70。

所以,实验组的 2,430 个转化里,约有 360 个是这次活动造成的。剩下的 2,070 个,不做活动也会发生。

现在用同样的数字看看前后对比这个捷径。假设测试前两周的转化率是 2.09%,而测试期间整个市场的转化率上升了 10%(保留组体现了这一点:2.09% × 1.10 = 2.30%)。前后对比会得出:(2.70% − 2.09%)÷ 2.09% = 29.1% 的提升。保留组给出的是 17.4%。多出来的 11.7 个百分点是季节造成的,不是活动。

app.tapcub.com

同一个示例测试的三种读法

示例,相对基线
保留组提升17.4%
前后对比29.1%
实验组转化中的增量占比14.8%
示例数据
示例数据:市场整体上升 10%,把前后对比的读数抬高到 29.1%。保留组显示真实提升是 17.4%;14.8% 是实验组转化中由活动造成的比例。

把提升换算成每个增量转化的成本和回报

提升告诉你效果有多大。要判断活动值不值,得把它换算成钱。

示例假设:活动花费 18,000 美元,每个转化价值 80 美元。

  • 每个增量转化的成本:18,000 ÷ 360 = 50 美元。
  • 增量收入:360 × 80 = 28,800 美元。
  • 增量支出回报:28,800 ÷ 18,000 = 1.6。

再和归因给出的数字对比一下。假设某个广告平台的报告把 1,150 个转化记到这次活动名下。那么它报告的单次转化成本是 18,000 ÷ 1,150 = 15.65 美元,报告的回报是 1,150 × 80 ÷ 18,000 = 5.1。保留组说真实的数字是 50 美元和 1.6。平台把本来就会转化的人也算了进去,而增量要回答的恰恰就是这个问题。Google 的帮助页定义了同样的两个衍生指标:增量单次获客成本(花费 ÷ 增量转化)和增量广告支出回报(增量转化价值 ÷ 花费)。

这个提升是真的,还是碰巧?

人数有限,观察到的差距就带有噪声。两项标准检验能告诉你该信多少。

对示例来说,合并转化率是 (2,430 + 230)÷ 100,000 = 2.66%,差值的标准误约为 0.17 个百分点。z 值是 0.40 ÷ 0.17 ≈ 2.4,所以在常用的 95% 水平上,结果有统计显著性。

误差范围主要取决于保留组的大小,因为保留组是那个小的组。保持比率不变,实验组仍是 90,000 人,下表是不同保留组大小下转化率之差的 95% 区间:

保留组大小保留组转化数转化率之差的 95% 区间提升的区间
1,00023−0.54 至 +1.34 个百分点−23% 至 +58%
2,50058−0.20 至 +1.00 个百分点−9% 至 +43%
5,000115−0.03 至 +0.83 个百分点−1% 至 +36%
10,000230+0.09 至 +0.71 个百分点+4% 至 +31%
20,000460+0.17 至 +0.63 个百分点+7% 至 +28%

1,000 人的保留组,分不清一次好活动和毫无效果。即使是 10,000 人,提升的区间也是从 4% 到 31%。17.4% 这个点估计只是中间值,不是保证。报告数字时要连同范围一起报告。

保留组大小提升的 95% 区间
1,000−23% 至 +58%
2,500−9% 至 +43%
5,000−1% 至 +36%
10,000+4% 至 +31%
20,000+7% 至 +28%

示例数据:90,000 人的实验组转化率 2.70%,保留组转化率 2.30%;保留组越大,区间越窄。

做不了保留组的时候

有时候你无法随机分配人:户外广告牌、电视广告、全站改动。同样的逻辑可以用在别的层面上。比较条件相近的地区或时间段,其中一个有活动、另一个没有,并用测试之前的时期检查两者此前的表现是否相似。这样的结果证据力弱于随机保留组,要写明两组之间可能有哪些不同。

常见误区

  • 用前后对比代替保留组。 季节和其他活动都被记到了你的活动头上。
  • 把提升和占比混为一谈。(实验 − 保留)÷ 保留,和(实验 − 保留)÷ 实验,是两个不同的数字。
  • 保留组太小,读不出结果。 误差范围比效果还宽,什么也证明不了。
  • 让保留组通过别的渠道看到了优惠。
  • 两组之间改变了转化的定义或窗口。
  • 数字看起来不错的那天就停止测试。
  • 拿没有随机分配的已曝光和未曝光的人比较。 看到广告的人和没看到的人本来就不同,这是选择偏差,不是增量。
  • 只报一个数字,不报范围。

定义见词汇表里的增量和保留组。把结果变成花钱的决定,读营销投资回报率。

在 TapCub 里:衡量两个组,而不是创建它们

拿上面 90 / 10 的测试来说。TapCub 不做实验,不划分受众,不保留任何人,也不投放活动;它只做衡量。分组要在发送活动的工具里建,TapCub 统计每个组做了什么。

  1. 自己分组并发送, 在投放活动的邮件、广告或消息工具里随机分配。保留好每组的人员名单。
  2. 让转化带上分组。 给你的转化事件加一个属性,比如 holdout_group,值为 test 或 control,或者把它挂到人身上。购买事件从你的服务器发,做法见电商集成。
  3. 按分组拆开转化。 在 全端分析 › 行为分析 › 行为分析 里,用独立人数画出转化事件,并按这个属性拆分。分母用第 1 步里各组的人数,因为 TapCub 统计的是出现在你数据里的人,不是你名单上的人。
  4. 对这些计数做本文的算术: 转化率、提升、增量转化数和区间。
  5. 加入成本。 如果活动的花费已经导入 全端分析 › 经营分析 › 渠道 ROI,可以在那里看到获客成本。算增量数字时,用花费除以增量转化,而不是除以全部转化。

TapCub 自己的对比,比如聊过天的访客和没聊过的访客,要当作观察性数据看待:这些组不是随机分的,所以衡量不了增量。

FAQ

怎样计算增量?

把受众随机分成得到活动的实验组和没有得到活动的保留组。在同一个窗口里算出每组的转化率。增量提升是(实验组转化率 − 保留组转化率)÷ 保留组转化率,增量转化数是(实验组转化率 − 保留组转化率)× 实验组人数。

增量的公式是什么?

常见的有两个版本。用保留组转化率作分母,得到相对基线的提升。用实验组转化率作分母,得到没有这次活动就不会发生的转化占实验组转化的比例。它们回答不同的问题,所以要说明你报告的是哪一个。

增量百分比多少算合理?

没有通用的基准,因为它取决于渠道、受众和转化。提升为正,且置信区间不包含零,说明活动造成了额外的转化。值不值得,要看每个增量转化的成本与一个转化的价值相比如何。

保留组应该多大?

要大到误差范围小于你在意的效果。在基础转化率为 2.3% 的示例里,1,000 人的保留组分不清好活动和没有活动,而 10,000 人给出的提升区间大约是 4% 到 31%。

没有保留组也能衡量增量吗?

用前后对比不可靠,它会把季节性算到活动头上。如果无法随机分配人,就比较条件相近的地区或时间段,其中一个有活动,检查它们此前表现是否相似,并把结果当作较弱的证据。

资料来源

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

艾玛·柯林斯

产品分析师

聚焦事件分析、转化漏斗与用户留存,用清晰的指标定义和分析框架解释产品表现。

衡量你创建的分组

在一个项目里按分组拆开转化,再按渠道比较获客成本。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie