TapCub 正式上线:统计、分析、客服一个平台免费用
增长与运营

多变量测试:决定它能否胜过 A/B 测试的流量算术

多变量测试展示几个页面元素的每一种组合。数清组合数、估算样本量(示例中每个版本 53,210 位),再看改为检验效应而不是格子之后它为什么可行。

奥利弗·里德 发布于 2026 年 11 月 21 日 8 分钟阅读 增长与运营
示例数据:基线 3.0%,相对提升 10%,5% 水平,80% 检验力。A/B 测试需要 106,420 位访客;8 格各和对照比需要 425,680 位(做 Bonferroni 校正后 676,480 位);读 7 个效应的析因设计需要 169,120 位。示例数据

多变量测试一次改动几个页面元素,展示每一种组合,因此能告诉你哪个元素起作用、元素之间有没有交互。它的代价是流量:在我们的例子里,转化率 3.0% 的页面要检出 10% 的提升,做成 A/B 测试需要 106,420 位访客,而把 8 个格子逐个比较并做校正则需要 676,480 位。

读完你会知道

  • 组合数是乘出来的:2 × 2 × 2 是 8,5 × 4 × 3 是 60;每周 30,000 位访客时,60 格每格只有 500 位
  • 把每一格都和对照比,成本是 A/B 测试的 4 到 6 倍(425,680 到 676,480,对 106,420);用析因设计检验效应只需 169,120
  • 用所需总量除以每周流量;超过 4 到 6 周,就减少选项或依次做 A/B 测试

什么是多变量测试

多变量测试(MVT)一次改动页面上的几个元素,向访客展示每一种组合。A/B 测试只改一处,或者改一整包,然后比较两个版本。想知道新标题、新主图、新按钮文案有没有用,A/B 测试要依次跑三轮;每个元素有两个选项的 MVT,一轮就能展示全部 2 × 2 × 2 = 8 种组合。

它的承诺是速度和第二个答案:不只是哪个版本赢了,还有是哪个元素起了作用、两个元素是互相帮忙还是互相拖后腿。代价是流量。每种组合都需要访客,组合越多,每一种分到的就越少。本文先把算术做完,让你在动手搭建之前就能决定。

如果你只是拿一个改动和另一个改动比,请先看 A/B 测试指南。MVT 是同一种方法,只是分支更多。

先数一数有多少种组合

组合数等于各元素选项数的乘积。NIST 工程手册描述了最简单的情形:三个元素各两个水平是 2³ 设计,共八次运行,重复一次就翻倍。

页面元素和选项数组合数每周 30,000 位访客时每种组合每周的访客
标题(2)× 主图(2)× 按钮(2)83,750
标题(3)× 主图(2)× 按钮(2)122,500
标题(5)× 主图(4)× 按钮(3)60500
标题(4)× 主图(3)× 版式(3)× 按钮(2)72417

示例数据:每周 30,000 位访客,平均分配。给某个元素多加一个选项,可能一下多出一整行组合:标题从 2 个变成 3 个,组合从 8 个变成 12 个,不是 9 个。

元素和选项数组合数每周 30,000 位时每格每周的访客
标题(2)× 主图(2)× 按钮(2)83,750
标题(3)× 主图(2)× 按钮(2)122,500
标题(5)× 主图(4)× 按钮(3)60500
标题(4)× 主图(3)× 版式(3)× 按钮(2)72417

示例数据:每周 30,000 位访客,平均分配给各组合。

流量要求是什么样

用一个固定的例子。示例数据:页面转化率 3.0%,想检出相对 10% 的提升,也就是从 3.0% 到 3.3%,显著性水平 5%、检验力 80%。用标准的两比例正态近似(5% 水平取 1.96,检验力取 0.84),得到每个版本 53,210 位访客。

同一个问题的三种跑法:

设计需要的访客每周 30,000 位时需要几周
A/B 测试,2 个版本2 × 53,210 = 106,4203.5
8 种组合,每种和对照格比较8 × 53,210 = 425,68014.2
同样 8 格,7 次比较并做 Bonferroni 校正(α = 0.05 ÷ 7)8 × 84,560 = 676,48022.5

Bonferroni 这一行是多数指南跳过的。把 7 个格子分别和对照比较时,至少有一个因运气而显著的概率远高于 5%;把 α 除以比较次数能让整体误差保持在 5% 左右,但每格样本要从 53,210 升到 84,560。人们常说 MVT「比 A/B 测试需要更多流量」,在这个例子里,如果你打算找出获胜的那一格,确实是 4 到 6 倍。

效应更小时更糟,因为样本量和效应的平方成反比:

要检出的提升(相对,基线 3.0%)A/B 总量每周 30,000 位时需要几周
20%27,8280.9
10%106,4203.5
5%415,87613.9

要把这些变成做或不做的决定,把页面每周的访客数乘以你能等的周数,再和上面的总量对照。一个每周 12,000 位访客、最多等 5 周的页面,有 60,000 位访客可以花。这足够检出 20% 的提升,无论做成 A/B 测试(27,828)还是 7 个效应的析因设计(44,222);但远远不够检出 10% 的提升(106,420 和 169,120)。赢得比你计划的幅度小的改动,看起来会像噪声;这是算术的结果,不是测试的失败。

app.tapcub.com

检出 3.0% 到 3.3% 的提升需要的访客

示例数据,访客总数
A/B 测试,2 个版本106,420
析因设计,7 个效应,已校正169,120
8 格各比对照425,680
8 格各比对照,已校正676,480
示例数据
示例数据:基线 3.0%,相对提升 10%,5% 水平,80% 检验力。A/B 测试需要 106,420 位访客;8 格各和对照比需要 425,680 位(做 Bonferroni 校正后 676,480 位);读 7 个效应的析因设计需要 169,120 位。

析因设计的捷径:检验效应,而不是格子

有一种更省的办法,MVT 的名字就来源于此。在平衡的完全析因设计里,每位访客都为每个元素的估计作贡献。标题的效应,是显示标题 B 的四个格子的平均值,减去显示标题 A 的四个格子的平均值,每一边都有全部访客的一半。这和用同样总流量的 A/B 测试精度相同。

以 10% 提升的例子来说,一个效应,比如按钮,总共需要 106,420 位访客,和 A/B 测试一样,而标题和主图用同一批访客估计,不额外花钱。三个元素共有 7 个效应要看:3 个主效应、3 个两两交互、1 个三方交互。对这 7 个效应做同样的 Bonferroni 拆分,需要 2 × 84,560 = 169,120 位访客,每周 30,000 位时是 5.6 周,而不是 22.5 周。

要让它成立,有两个条件:

  1. 你读的是效应,不是格子赢家。 你问的是「按钮 B 在所有标题和主图上平均有没有帮助」,不是「8 个格子里哪个表现更好」。后一个问题才贵。
  2. 你想要的效应大小和计划的差不多。 交互效应通常比主效应小。大小只有主效应一半的交互,要检出需要四倍流量。

MVT 什么时候比 A/B 测试合适

按顺序用这些规则:

  1. 用所需总量除以每周流量。 结果在 4 到 6 周以内就做。否则先减少选项(下一节),或者依次做 A/B 测试。
  2. 如果你怀疑有交互,比如长标题只配短按钮文案才有效,只有 MVT 能在一轮里看到它。两次独立的 A/B 测试看不到。
  3. 如果你只想要三个标题里效果更好的那个,对标题做 A/B/n 测试。不需要把主图和按钮放进实验。
  4. 如果几个元素绑在同一个想法上,比如全新的页面设计,就把整个设计当作 A/B 测试里的一个版本。MVT 适合可以随意搭配的元素。
  5. 如果流量很小(每周几千位访客),任何 MVT 都跑不完。改动做大一点,用普通的 A/B 测试。

怎么减少组合数

算术告诉你要 14 周时,缩小设计,而不是干等:

  • 去掉元素,选你预计影响最小的。三个元素各两个水平是 8,四个是 16。
  • 去掉选项。 测两个最有力的标题候选,不要五个。
  • 把相关的改动合并成一个元素,比如图片和图注。
  • 先用 A/B 测试验证最大的想法,再对剩下的做小型 MVT。
  • 考虑部分析因设计,只运行挑选出来的一部分格子,放弃一些交互。这是统计学的活;代价是有些效应再也分不开。

会毁掉结果的分析错误

  • 看到某一格不错就停。 每天看、第一次显著就停,会抬高误报;我们的 A/A 测试一文给出了幅度,5% 水平下看 20 次是 25%。先定好样本量和结束日期;必须提前看的话,用为此设计的方法,比如序贯检验。
  • 只读到交互显著,不看它多大。 报告差异和它的区间,不要只报标签。
  • 各格不均衡。 某个组合加载更慢,完成的浏览就更少。读结果之前先检查分流。
  • 把机器人算进去。 某一格里的自动访问会改变它的比率。
  • 忽略人群细分。 在桌面端获胜的组合可能在手机端落败;在测试之前就规划好要看的人群,事后再拆会让比较次数成倍增加。

在 TapCub 里衡量多变量测试

TapCub 不创建版本、不分流量、不做实验,也不决定哪一格获胜。它衡量你的测试工具产生的结果。

  1. 让测试工具把组合,比如 h2-i1-b2,作为事件属性发出来,或者给每种组合用不同的 URL 参数。
  2. 在全端分析 › 行为分析 › 行为分析里,建一个从落地页到目标的漏斗,并按这个属性拆分。拆分只保留入口人数最多的 10 个组,所以 12 种以上组合的实验会丢掉最小的几组;把设计控制在 10 种以内,或者按元素把组合归并。
  3. 读转化率之前,先把每种组合的访客数和计划对照。明显对不上,就是该停下来的理由。
  4. 按整周读结果,并和你定好的样本量对照。真人和机器人分开统计,所以爬虫不会进入分母。
  5. 想知道某个组合为什么输,在那个页面上打开全端分析 › 行为分析 › 热力图或会话回放;会话回放默认关闭,需要手动开启。

常见问题

多变量测试和 A/B 测试有什么区别?

A/B 测试比较两个版本,二者只有一处不同,或者是一整包改动。多变量测试一次改变几个元素,并展示每一种组合。它能看出哪个元素起作用、元素之间有没有交互,但需要更多流量。

多变量测试需要多少访客?

取决于基线和要检出的提升。在我们的例子里,基线 3.0%、相对提升 10%,检验一个效应总共约需 106,420 位访客;把 8 个格子逐个比较并做多重比较校正,需要 676,480 位。

可以测多少种组合?

流量允许多少就测多少。每周 30,000 位访客时,8 种组合每种每周 3,750 位,60 种每种 500 位。如果算出来超过 4 到 6 周,就去掉一些选项。

multi-variate testing 和 multivariate testing 是一回事吗?

是,它们是营销里同一个词的不同拼写。它不同于多元统计,后者是把几个结果变量放在一起分析。

TapCub 能做多变量测试吗?

不能。TapCub 衡量结果;创建版本和分流是你的测试工具做的。TapCub 按你发送的组合拆分显示漏斗。

资料来源

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

奥利弗·里德

产品体验专员

关注产品易用性、使用路径与功能采用,通过具体场景拆解从首次体验到持续使用的关键环节。

在一个漏斗里衡量每一种组合

按测试工具发出的组合拆分目标漏斗。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie