一句话回答
因果是指改变 A 会让 B 随之改变,不改变 A,B 就会不一样。它需要的不只是两个指标一起变:A 要在前,其他解释要被排除,最有力的证明是随机实验。
公式: 因果效应 = 有 A 时的结果 − 没有 A 时的结果(同一批用户、同一时间)
因果是什么意思?
因果是指改变一件事会让另一件事随之改变,而且如果不改变前者,后者就不会这样变。统计上常见的说法是:对同一批人、同一时间,如果 A 不一样,B 就会不一样,那么 A 是 B 的原因。「如果不一样」这一句就是哲学家用来定义原因的反事实思路(见文末斯坦福哲学百科词条),也是因果在数据里很难看到的原因:对每一个用户,你只能看到一个世界,要么他用了这个功能,要么没用。
由此有两个实际结论:
- 多数原因是概率性的。 原因提高结果出现的可能,而不是保证它出现。假设新的新手清单把第 1 周留存从 40% 提高到 44%(假设数字),它就是原因,尽管看到清单的用户大多本来就会留下或离开。
- 光看数据说不出方向。 两个指标一起变,只是相关。是 A 推动 B、B 推动 A,还是另一个因素同时推动两者,是另一个问题,要靠设计来回答,而不是再多几行数据。两个概念的并排对比见 相关与因果,本页只讲因果本身。
说是因果之前至少要满足什么?
至少三个条件,而且要累计满足:
- 相关。 A 和 B 一起变。没有这一条就没什么可解释的,但它最容易达到,也最常被当成全部证据。
- 时间顺序。 A 发生在 B 之前。如果结果是第 2 个月的留存,功能必须在第 2 个月结束前就用过。「变成重度用户」这类说法常把顺序弄混:本来就会留下的用户,因为留下了才用了更多功能。
- 没有更好的解释。 其他可能的原因都被排除、被测量并固定,或者通过随机分配 A 变得无关。
满足第三条最有力的办法是做实验,用抛硬币决定谁得到 A。做不到时,证据按强弱分级:
| 证据 | 能说明什么 | 弱点 |
|---|---|---|
| 直接比较用了 A 和没用 A 的人 | 只有相关 | 谁选 A,可能出于同样会影响 B 的原因 |
| 在分层内比较(渠道、设备、套餐) | 相关在你测量过的分层里依然存在 | 没测量的差异仍然存在 |
| 前后对比并带对照组 | 扣除共同趋势后的变化 | 需要一个本来会同样变化的对照组 |
| 自然实验(任意的发布规则) | 近似随机的分配,但不是你控制的 | 很少见,规则必须真的是任意的 |
| 随机实验 | 分配与其他一切无关 | 耗流量、耗时间,有时做不了 |
1965 年,流行病学家 Austin Bradford Hill 列出判断一个关联是否因果的九条考量:强度、一致性、特异性、时间顺序、剂量反应、合理性、连贯性、实验证据和类比。他强调这九条没有一条能单独定案,它们是要去找的东西,本文的检查清单也应该这样用。
产品数据里会出现哪几种因果关系?
两个指标一起变,可能有四种解释,只有第一种是你想要的那种从 A 到 B 的因果。
| 模式 | 解释 | 产品例子 |
|---|---|---|
| 直接原因 | A 改变 B | 页面加载更快,完成结账的人更多 |
| 中介原因 | A 改变 M,M 改变 B | 折扣邮件带来更多访问,访问带来更多订单 |
| 共同原因 | C 同时改变 A 和 B,A 和 B 互不影响 | 自然流量的访客既更常用搜索,也买得更多 |
| 反向原因 | B 改变 A | 快要流失的人不再打开应用,所以「不活跃」能预测流失,却不是流失的原因 |
中介仍然算因果,但它改变你能承诺的东西:折扣邮件不再带来访问,订单也跟着消失。共同原因和反向原因是数字看起来像效果、其实不是的常见原因。区分它们,主要是列出候选的共同原因(流量来源、设备、国家、套餐、用户已经待了多久、购买意图),再到每一类里检查这个关联。
算例:用了功能会带来留存吗?
示例数据:某月有 2,000 名新用户,其中 800 人在第一周用了新的报表功能,1,200 人没用。留存指第 4 周再次活跃。
| 分组 | 用户数 | 留存人数 | 留存率 |
|---|---|---|---|
| 用了功能 | 800 | 414 | 51.75% |
| 没用功能 | 1,200 | 400 | 33.33% |
| 差距 | +18.4 个百分点 |
直接看,这个功能「带来了 18 个点」的留存。现在按获客渠道拆开,渠道是个合理的共同原因:自然流量的用户带着意图来,留得更多,也更愿意探索功能。
| 渠道 | 分组 | 用户数 | 留存人数 | 留存率 |
|---|---|---|---|---|
| 自然流量(1,000 人) | 用了功能 | 600 | 372 | 62.0% |
| 自然流量 | 没用功能 | 400 | 240 | 60.0% |
| 付费流量(1,000 人) | 用了功能 | 200 | 42 | 21.0% |
| 付费流量 | 没用功能 | 800 | 160 | 20.0% |
每个渠道内部的差距是 +2.0 个点(自然)和 +1.0 个点(付费)。按各渠道占 2,000 人的比例(各 50%)加权,调整后的差距是 0.5 × 2.0 + 0.5 × 1.0 = +1.5 个点。原来的 18.4 个点里约 92% 来自谁用了功能,而不是功能本身:800 名功能用户里有 600 人来自自然流量,而 1,200 名没用的人里只有 400 人。
可以从中带走两点。其一,调整后的 +1.5 个点仍然不是因果的证明:它只控制了一个变量,爱探索报表的用户可能在渠道之外还有别的不同。其二,这样的人数下 1.5 个点的差距要单独检查是不是噪声,算法见 统计显著性。
实际中怎么检查一个因果说法?
把说法按下面五个问题依次过一遍,在哪一步站不住就停在哪一步:
- 谁先发生? 结果窗口要在原因之后开始。如果「用了功能」和「留存」统计的是同样几周,就改成:功能使用看第 0–7 天,留存看第 22–28 天。
- 谁选了 A? 如果是用户自己选的,就假定他们有差异。如果是规则分配的(按账号 ID 分批发布、按地区上线),就问这个规则是不是任意的。
- 两组还有什么不同? 至少列 5 个候选,逐个对比两组。如果渠道构成、设备构成或套餐构成差别很大,直接比较就不安全。拆分如何缩小甚至翻转差距,见 混杂变量 和 辛普森悖论。
- 拆开以后差距还在吗? 如果差距在每一层都同方向、大小相近,说法更站得住;如果在某些层消失,就去那里找原因。
- 能随机分配或保留对照吗? 如果这个决定出错的代价高,就做实验,或者保留一个永远不会收到改动的随机对照组。衡量「不做也会发生什么」的相关概念见 增量。
常见误区有哪些?
- 把相关系数当成效果大小。 相关系数 0.6 说明两者紧密地一起变,但没说你改变 A 时 B 会变多少。
- 比较主动加入的分组。 打开功能、点开邮件、加入会员计划的用户都是自己选的。这个选择就是多数「功能 X 提升留存」图表背后的 选择偏差。
- 控制了错误的变量。 按处在 A 和 B 之间的东西拆分(比如折扣通过「访问」起作用时按访问拆),会把真实效果的一部分去掉。
- 把归因当证明。 给渠道记一部分转化功劳的报表是按规则分配功劳,并不说明没有这个渠道这些转化就会丢失。
- 停在「没有相关」。 真实的原因可能被反方向的共同原因盖住,也可能被小样本里的噪声盖住。
- 看了一次拆分就宣布因果。 一张分层表缩小了解释的范围,但没排除未测量的那些。
怎么用 TapCub 检查这样的说法?
还是上面的报表功能例子。TapCub 能很快给你分层视图,但不做能最终定论的实验。
- 先把「用了功能」定义一次。 在 全端分析 › 用户 › 分群与标签 里,用该功能的事件加时间窗建一个规则分群(比如近 30 天做过该事件)。分群可以作为群组带进其他分析,所以各处用同一个定义。匿名访客没有档案,不会进入分群,所以先识别登录用户。
- 按渠道比较结果。 在 全端分析 › 行为分析 › 行为分析 里建一个从注册事件到第 4 周回访事件的漏斗,并按渠道分组。分组保留进入人数最多的 10 组。留存分析没有分组,想按渠道看留存,就一次筛一个渠道,或者用分群。
- 问哪些维度推动了指标。 在 全端分析 › 智能运营 › AI 助手 的 变化归因 页签里,一个指标的变化会按渠道、来源域名、国家、设备、入口页等维度拆开,给出每个取值对变化的贡献。这是对「哪里变了」的拆解,不是对「为什么」的检验;它帮你找出要去检查的候选共同原因。
- 标出上线日期。 在 配置 › 日期标注 里加上发布日期,前后对比就不是盲看。
- 实验到别处做。 TapCub 不做 A/B 实验和特性开关,也不做随机分配,只负责衡量。如果你用自己的工具做实验,把分组名作为事件属性发过来,就能在这里比较各组。
资料来源
- 斯坦福哲学百科,Counterfactual Theories of Causation。
- 斯坦福哲学百科,Probabilistic Causation。
- Hill, A. B. (1965). The Environment and Disease: Association or Causation? Proceedings of the Royal Society of Medicine, 58(5), 295–300。
- Pearl, J. (2009). Causal inference in statistics: An overview. Statistics Surveys, 3, 96–146。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
