多变量测试一次改动几个页面元素,展示每一种组合,因此能告诉你哪个元素起作用、元素之间有没有交互。它的代价是流量:在我们的例子里,转化率 3.0% 的页面要检出 10% 的提升,做成 A/B 测试需要 106,420 位访客,而把 8 个格子逐个比较并做校正则需要 676,480 位。
读完你会知道
- 组合数是乘出来的:2 × 2 × 2 是 8,5 × 4 × 3 是 60;每周 30,000 位访客时,60 格每格只有 500 位
- 把每一格都和对照比,成本是 A/B 测试的 4 到 6 倍(425,680 到 676,480,对 106,420);用析因设计检验效应只需 169,120
- 用所需总量除以每周流量;超过 4 到 6 周,就减少选项或依次做 A/B 测试
什么是多变量测试
多变量测试(MVT)一次改动页面上的几个元素,向访客展示每一种组合。A/B 测试只改一处,或者改一整包,然后比较两个版本。想知道新标题、新主图、新按钮文案有没有用,A/B 测试要依次跑三轮;每个元素有两个选项的 MVT,一轮就能展示全部 2 × 2 × 2 = 8 种组合。
它的承诺是速度和第二个答案:不只是哪个版本赢了,还有是哪个元素起了作用、两个元素是互相帮忙还是互相拖后腿。代价是流量。每种组合都需要访客,组合越多,每一种分到的就越少。本文先把算术做完,让你在动手搭建之前就能决定。
如果你只是拿一个改动和另一个改动比,请先看 A/B 测试指南。MVT 是同一种方法,只是分支更多。
先数一数有多少种组合
组合数等于各元素选项数的乘积。NIST 工程手册描述了最简单的情形:三个元素各两个水平是 2³ 设计,共八次运行,重复一次就翻倍。
| 页面元素和选项数 | 组合数 | 每周 30,000 位访客时每种组合每周的访客 |
|---|---|---|
| 标题(2)× 主图(2)× 按钮(2) | 8 | 3,750 |
| 标题(3)× 主图(2)× 按钮(2) | 12 | 2,500 |
| 标题(5)× 主图(4)× 按钮(3) | 60 | 500 |
| 标题(4)× 主图(3)× 版式(3)× 按钮(2) | 72 | 417 |
示例数据:每周 30,000 位访客,平均分配。给某个元素多加一个选项,可能一下多出一整行组合:标题从 2 个变成 3 个,组合从 8 个变成 12 个,不是 9 个。
| 元素和选项数 | 组合数 | 每周 30,000 位时每格每周的访客 |
|---|---|---|
| 标题(2)× 主图(2)× 按钮(2) | 8 | 3,750 |
| 标题(3)× 主图(2)× 按钮(2) | 12 | 2,500 |
| 标题(5)× 主图(4)× 按钮(3) | 60 | 500 |
| 标题(4)× 主图(3)× 版式(3)× 按钮(2) | 72 | 417 |
示例数据:每周 30,000 位访客,平均分配给各组合。
流量要求是什么样
用一个固定的例子。示例数据:页面转化率 3.0%,想检出相对 10% 的提升,也就是从 3.0% 到 3.3%,显著性水平 5%、检验力 80%。用标准的两比例正态近似(5% 水平取 1.96,检验力取 0.84),得到每个版本 53,210 位访客。
同一个问题的三种跑法:
| 设计 | 需要的访客 | 每周 30,000 位时需要几周 |
|---|---|---|
| A/B 测试,2 个版本 | 2 × 53,210 = 106,420 | 3.5 |
| 8 种组合,每种和对照格比较 | 8 × 53,210 = 425,680 | 14.2 |
| 同样 8 格,7 次比较并做 Bonferroni 校正(α = 0.05 ÷ 7) | 8 × 84,560 = 676,480 | 22.5 |
Bonferroni 这一行是多数指南跳过的。把 7 个格子分别和对照比较时,至少有一个因运气而显著的概率远高于 5%;把 α 除以比较次数能让整体误差保持在 5% 左右,但每格样本要从 53,210 升到 84,560。人们常说 MVT「比 A/B 测试需要更多流量」,在这个例子里,如果你打算找出获胜的那一格,确实是 4 到 6 倍。
效应更小时更糟,因为样本量和效应的平方成反比:
| 要检出的提升(相对,基线 3.0%) | A/B 总量 | 每周 30,000 位时需要几周 |
|---|---|---|
| 20% | 27,828 | 0.9 |
| 10% | 106,420 | 3.5 |
| 5% | 415,876 | 13.9 |
要把这些变成做或不做的决定,把页面每周的访客数乘以你能等的周数,再和上面的总量对照。一个每周 12,000 位访客、最多等 5 周的页面,有 60,000 位访客可以花。这足够检出 20% 的提升,无论做成 A/B 测试(27,828)还是 7 个效应的析因设计(44,222);但远远不够检出 10% 的提升(106,420 和 169,120)。赢得比你计划的幅度小的改动,看起来会像噪声;这是算术的结果,不是测试的失败。
检出 3.0% 到 3.3% 的提升需要的访客
示例数据,访客总数析因设计的捷径:检验效应,而不是格子
有一种更省的办法,MVT 的名字就来源于此。在平衡的完全析因设计里,每位访客都为每个元素的估计作贡献。标题的效应,是显示标题 B 的四个格子的平均值,减去显示标题 A 的四个格子的平均值,每一边都有全部访客的一半。这和用同样总流量的 A/B 测试精度相同。
以 10% 提升的例子来说,一个效应,比如按钮,总共需要 106,420 位访客,和 A/B 测试一样,而标题和主图用同一批访客估计,不额外花钱。三个元素共有 7 个效应要看:3 个主效应、3 个两两交互、1 个三方交互。对这 7 个效应做同样的 Bonferroni 拆分,需要 2 × 84,560 = 169,120 位访客,每周 30,000 位时是 5.6 周,而不是 22.5 周。
要让它成立,有两个条件:
- 你读的是效应,不是格子赢家。 你问的是「按钮 B 在所有标题和主图上平均有没有帮助」,不是「8 个格子里哪个表现更好」。后一个问题才贵。
- 你想要的效应大小和计划的差不多。 交互效应通常比主效应小。大小只有主效应一半的交互,要检出需要四倍流量。
MVT 什么时候比 A/B 测试合适
按顺序用这些规则:
- 用所需总量除以每周流量。 结果在 4 到 6 周以内就做。否则先减少选项(下一节),或者依次做 A/B 测试。
- 如果你怀疑有交互,比如长标题只配短按钮文案才有效,只有 MVT 能在一轮里看到它。两次独立的 A/B 测试看不到。
- 如果你只想要三个标题里效果更好的那个,对标题做 A/B/n 测试。不需要把主图和按钮放进实验。
- 如果几个元素绑在同一个想法上,比如全新的页面设计,就把整个设计当作 A/B 测试里的一个版本。MVT 适合可以随意搭配的元素。
- 如果流量很小(每周几千位访客),任何 MVT 都跑不完。改动做大一点,用普通的 A/B 测试。
怎么减少组合数
算术告诉你要 14 周时,缩小设计,而不是干等:
- 去掉元素,选你预计影响最小的。三个元素各两个水平是 8,四个是 16。
- 去掉选项。 测两个最有力的标题候选,不要五个。
- 把相关的改动合并成一个元素,比如图片和图注。
- 先用 A/B 测试验证最大的想法,再对剩下的做小型 MVT。
- 考虑部分析因设计,只运行挑选出来的一部分格子,放弃一些交互。这是统计学的活;代价是有些效应再也分不开。
会毁掉结果的分析错误
- 看到某一格不错就停。 每天看、第一次显著就停,会抬高误报;我们的 A/A 测试一文给出了幅度,5% 水平下看 20 次是 25%。先定好样本量和结束日期;必须提前看的话,用为此设计的方法,比如序贯检验。
- 只读到交互显著,不看它多大。 报告差异和它的区间,不要只报标签。
- 各格不均衡。 某个组合加载更慢,完成的浏览就更少。读结果之前先检查分流。
- 把机器人算进去。 某一格里的自动访问会改变它的比率。
- 忽略人群细分。 在桌面端获胜的组合可能在手机端落败;在测试之前就规划好要看的人群,事后再拆会让比较次数成倍增加。
在 TapCub 里衡量多变量测试
TapCub 不创建版本、不分流量、不做实验,也不决定哪一格获胜。它衡量你的测试工具产生的结果。
- 让测试工具把组合,比如
h2-i1-b2,作为事件属性发出来,或者给每种组合用不同的 URL 参数。 - 在全端分析 › 行为分析 › 行为分析里,建一个从落地页到目标的漏斗,并按这个属性拆分。拆分只保留入口人数最多的 10 个组,所以 12 种以上组合的实验会丢掉最小的几组;把设计控制在 10 种以内,或者按元素把组合归并。
- 读转化率之前,先把每种组合的访客数和计划对照。明显对不上,就是该停下来的理由。
- 按整周读结果,并和你定好的样本量对照。真人和机器人分开统计,所以爬虫不会进入分母。
- 想知道某个组合为什么输,在那个页面上打开全端分析 › 行为分析 › 热力图或会话回放;会话回放默认关闭,需要手动开启。
常见问题
多变量测试和 A/B 测试有什么区别?
A/B 测试比较两个版本,二者只有一处不同,或者是一整包改动。多变量测试一次改变几个元素,并展示每一种组合。它能看出哪个元素起作用、元素之间有没有交互,但需要更多流量。
多变量测试需要多少访客?
取决于基线和要检出的提升。在我们的例子里,基线 3.0%、相对提升 10%,检验一个效应总共约需 106,420 位访客;把 8 个格子逐个比较并做多重比较校正,需要 676,480 位。
可以测多少种组合?
流量允许多少就测多少。每周 30,000 位访客时,8 种组合每种每周 3,750 位,60 种每种 500 位。如果算出来超过 4 到 6 周,就去掉一些选项。
multi-variate testing 和 multivariate testing 是一回事吗?
是,它们是营销里同一个词的不同拼写。它不同于多元统计,后者是把几个结果变量放在一起分析。
TapCub 能做多变量测试吗?
不能。TapCub 衡量结果;创建版本和分流是你的测试工具做的。TapCub 按你发送的组合拆分显示漏斗。
资料来源
- NIST/SEMATECH 统计方法电子手册,5.3.3.3.1 两水平完全析因设计:2³ 设计需要八次运行,重复一次翻倍。核对于 2026-11-21。
- NIST/SEMATECH 电子手册,7.3.3 比较两个比例:用于样本量计算的两比例 z 统计量。核对于 2026-11-21。
- Evan Miller,How Not To Run An A/B Test:第一次显著就停会抬高假阳性;提前定好样本量。核对于 2026-11-21。
这篇文章对你有帮助吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。

