一句话回答
关键驱动分析给「哪些因素(比如早期行为或问卷评分)和留存、满意度这类结果关联最紧」排名。它显示的是关联而不是原因,所以排在最前的驱动因素,要先检查混杂因素、再用 holdout 组验证,才能据以行动。
什么是关键驱动分析?
关键驱动分析用来找出哪些因素和你在意的结果关联最紧,比如留存、购买或满意度。你列出候选的驱动因素,衡量每一个和结果的吻合程度,再排序。得到的是关联的排名,而不是原因的排名:它告诉你先看哪里,而一个驱动因素要先用对照组或 holdout 组验证,才值得你为它投入精力。
两种传统都用这个名字。在市场研究里,它通常指对问卷评分做回归,得出每项评分对总体满意度的「推导重要性」。在产品分析里,它指对比做过和没做过某件事的人的结果。本文讲产品分析的版本;排序的逻辑和陷阱是一样的。
问卷版和行为版的关键驱动分析
| 问卷版 | 行为版 | |
|---|---|---|
| 结果 | 总体满意度、NPS、购买意向 | 第 30 天仍活跃、30 天内付费 |
| 候选驱动因素 | 对产品各属性的评分 | 最初几天里做过的动作 |
| 典型方法 | 回归,以及每项评分的相对重要性 | 做过和没做某个动作的结果比例,再检查混杂因素 |
| 输出 | 每个属性的重要性占比 | 每个动作的比例差和比值 |
| 主要陷阱 | 各项评分一起变动,重要性很难拆开 | 什么都多做的用户,会让每个动作都看起来像驱动因素 |
一步步怎么做
- 用时间窗口定义结果。「留存」必须是一条规则,比如第 4 周内至少有一天活跃。
- 列出候选行为,并且只量早期的。 每个动作只在结果开始之前就结束的窗口里统计,比如前 7 天。结果出现之后才做的动作,不可能是结果的原因。
- 对每个动作,对比做过和没做的结果比例。 对每个候选,分别算出做过的人和没做的人里仍然留存的占比。
- 按差异排序,同时看人数。 一个只有 10 个人做过的动作,每多一个人比例就动 10 个百分点,所以那里的大差异说明不了什么。
- 检查混杂因素。 把对比按任何可能同时影响动作和结果的因素拆开,比如公司规模或获客渠道,看差距还在不在。
- 验证排在最前面的驱动因素。 对一个随机分出来的组改变这个行为,另留一组作为 holdout。只有这样的对比,才支持因果结论。
算例:给四个行为排名
示例数据:1,000 名新用户,其中 320 人(32%)在第 4 周仍然活跃。对前 7 天里的四个动作:
| 前 7 天里的动作 | 做过的人数 | 做过的留存率 | 没做的留存率 | 差异 | 比值 | 相关系数(phi) |
|---|---|---|---|---|---|---|
| 邀请了队友 | 200 | 60.0% | 25.0% | +35.0 个百分点 | 2.40 | 0.30 |
| 连接了数据源 | 450 | 42.0% | 23.8% | +18.2 个百分点 | 1.76 | 0.19 |
| 看过报表 | 700 | 36.0% | 22.7% | +13.3 个百分点 | 1.59 | 0.13 |
| 打开过定价页 | 300 | 30.0% | 32.9% | −2.9 个百分点 | 0.91 | −0.03 |
邀请队友排在最前,前三项的差异都远超随机波动(z 在 4.1 到 9.5 之间)。定价页看不出关系(p = 0.37)。一个是否做过的动作对上一个是否留存的结果,相关系数就是 phi 系数,也就是对两个 0/1 变量算出的皮尔逊 r:邀请这一项是 0.30。
为什么排名不等于因果
排在最前面的驱动因素,在有人围绕它设计活动之前值得先检查一下。把同样的用户按公司规模拆开:
| 公司规模 | 用户数 | 邀请过的人数 | 邀请过的留存 | 没邀请的留存 |
|---|---|---|---|---|
| 大公司 | 300 | 190(63.3%) | 190 人中 118 人(62.1%) | 110 人中 66 人(60.0%) |
| 小公司 | 700 | 10(1.4%) | 10 人中 2 人(20.0%) | 690 人中 134 人(19.4%) |
在每一组内部,邀请带来的差距只有 +2.1 和 +0.6 个百分点。按两组在 1,000 名用户中的占比(大公司 30%,小公司 70%)加权,调整后的差距是 +1.0 个百分点,而原始差距是 +35.0。是公司规模造成了这个排名:大公司既更常邀请(63.3% 对 1.4%),也更常留下(61.3% 对 19.4%)。这就是混杂变量,也是排在最前的驱动因素最后变成旁观者的常见原因。小公司里邀请过的只有 10 人,这一格的样本很薄;重点是,原始排名会让你去找错的杠杆。统计学里把这种现象叫辛普森悖论。
用 holdout 验证驱动因素
要确认邀请会推动留存,就把新用户随机分成两半,提示其中一半邀请队友,另一半不动、作为 holdout 组,再用显著性检验对比第 4 周的留存(见 p 值)。难点在所需样本。在 α = 0.05、80% 功效下,要检出留存率从 25% 提高到 30%,每组约需 1,248 名用户;从 25% 提高到 35%,每组约需 326 名。总共只有 1,000 名新用户的话,只能确认幅度很大的提升,所以要把观察期拉长。这些数字的变化规律见统计功效。
常见误区
- 把结果之后的动作也算进来。 第 5 周「打开了账单页」是留下来的结果,而不是留下来的原因。驱动因素的窗口要放在结果窗口之前。
- 让重度用户掩盖一切。高级用户每种动作都做得更多,所以每个动作都和留存相关。要对比活跃程度相近的人。
- 给很小的组排名。 只有寥寥几个人做过的行为,可以显示出任何你想要的比例。
- 测试太多候选项。 在 α = 0.05 下检查 40 个行为,只要它们互相独立,至少有一个纯靠运气看起来显著的概率是 1 − 0.95⁴⁰ = 87.1%。先凭产品知识缩小候选范围。
- 把排名当成配方。 如果两者都是由别的因素造成的,推动大家去做排名最前的动作,结果可能不会改变。相关与因果的关系见相关不等于因果。
- 和变化归因搞混。 把一个指标的变化分摊到各渠道或国家,回答的是「变化从哪里来」,而不是「哪些行为带来留存」。
在 TapCub 里怎么做关键驱动分析
假设你想知道,前 7 天里邀请队友,是否和第 4 周的留存相关。TapCub 没有自动的关键驱动报告,所以这是一项用分群和留存拼起来的手工活。
- 建分群。 在 全端分析 › 用户 › 分群与标签 里,建一个规则分群:选定时期内首次出现、并且做过邀请事件的人;再建第二个:没做过的人。保存前预览人数,并让「做过」条件的时间窗口落在结果期之前。分群只包含已识别的人,匿名访客不会出现,所以要先做用户识别。
- 对每个分群跑留存。 在 全端分析 › 行为分析 › 行为分析 里打开留存页签,对某个分群点「去分析」,把它作为同期群应用进去。留存没有细分,也没有对比时段,所以每个分群各跑一次,把各行并排着读:每一行显示同期群人数和各期的比例。
- 按混杂因素拆开。 给每条规则加一个公司规模的条件,按上面的表重建四个组。如果差距像这里一样缩小,邀请就不是那个杠杆。
- 单独看整体指标的变化。 全端分析 › 智能运营 › AI 助手 里的「变化归因」会按渠道、来源域名、国家、设备、着陆页或平台,拆解一个指标的变化。它显示变化从哪里来,不显示哪些行为带来留存。
- holdout 放在你自己那边做。 TapCub 不做实验,也不留对照组。在你自己的产品里随机分组,然后把被提示的组和 holdout 组当作两个分群来对比。
资料来源
- Grömping, U. (2006). Relative Importance for Linear Regression in R: The Package relaimpo. Journal of Statistical Software, 17(1).
- 斯坦福哲学百科全书,Simpson's Paradox。
- NIST/SEMATECH 统计方法电子手册,7.3.3 How can we determine whether two processes produce the same proportion of defectives?(z 值和样本量背后的两比例检验)。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
