TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

因果关系的例子:什么证据能区分因果与巧合

来自随机激素试验、Bing 标题实验和 Facebook 广告研究的因果关系例子,外加一个产品分析算例:21.9 个点的留存差距其实只有 2 个点,以及能说什么话的检查清单。

林舟 发布于 2026 年 11 月 20 日 9 分钟阅读 数据分析
示例数据:10,000 位用户,3,200 人用过功能。用户留存 47.5%,非用户 25.6%,但活跃用户既爱用也会留下。分组内的差距都是 2 个点,所以原始差距把效果高估了 10.9 倍。示例数据

因果关系的一个例子是随机测试:把新的结算按钮随机展示给一半访客,这一半的销量更高。随机分配让两组除了改动之外都相似,所以差异可以归因于改动。本文给出证据阶梯、三个实验与观察结论不一致的已发表案例,以及一个算例:21.9 个点的留存差距,实际只有 2 个点。

读完你会知道

  • 只有随机测试(或接近它的设计)才有资格用「导致」这个词;调整后的和原始的比较只能用更弱的措辞
  • 示例里功能用户留存高 21.9 个点,但在可比分组内效果只有 2 个点,被高估了 10.9 倍
  • 写「导致」之前,先检查先后、第三个因素、谁选的暴露、偶然和机制

什么算因果关系,什么证据能说明它?

因果关系是指:在其他条件都保持不变的情况下,改变 X 会改变 Y。网店的结算按钮变成绿色,同一周销量上升,这只是相关。把绿色按钮随机展示给一半访客,发现这一半的销量更高,才是因果证据,因为随机分组让两半人除了按钮之外在其他方面都相似。

本文讲的是证据,不是词汇。两个概念的区别和一批容易混淆的例子,请看相关与因果的例子和因果关系词条。这里我们用几个真实案例、一个你可以复算的产品分析例子,以及一个区分因果与巧合的简短检查。

证据阶梯

证据能排除什么产品团队里的例子
随机实验混杂因素、选择偏差、反向因果(分配是随机的,而且在先)把新的新手引导随机展示给 50% 的新注册用户
留出组或自然实验多数混杂因素,前提是分配近似随机功能先在一个国家上线;或用抛硬币选的地区
做了调整的观察数据只能排除你测量过的混杂因素在相同活跃程度内比较功能用户和非用户
原始相关什么都排除不了「用功能 X 的用户留存更好」

往表格下方走,你有资格提出的结论就越弱。本文的所有例子,讲的都是有人用了下面的台阶,却说得好像站在最上面。

证据能排除什么例子
随机实验混杂因素、选择偏差、反向因果把新的新手引导随机展示给 50%
留出组或自然实验多数混杂因素(前提是分配近似随机)功能先在一个国家上线
做了调整的观察数据只能排除你测量过的混杂因素在相同活跃程度内比较用户与非用户
原始相关什么都排除不了用功能 X 的用户留存更好

沿表格往下,你可以提出的结论越来越弱。

例 1:激素治疗,随机试验与多年观察

妇女健康倡议(Women's Health Initiative)把 16,608 名健康的绝经后妇女随机分到雌激素加孕激素组或安慰剂组。试验在平均 5.2 年后提前终止,因为治疗增加了冠心病、中风、肺栓塞和浸润性乳腺癌的风险。作者的结论是总体风险大于获益,不应为预防心脏病而开始这种治疗(Rossouw 等,JAMA 2002)。做这个试验,是因为只靠观察性证据,风险和获益的平衡一直说不清。

它之所以是因果例子,在于设计:妇女是靠机会分组的,所以两组在健康习惯、收入和就医条件上没有差别。这正是原始比较所缺少的。

例 2:Bing 上一个广告标题的改动

Bing 里有一个小改动,涉及广告标题的显示方式,它一直躺在待办清单里,直到一位工程师做了一次快速的在线对照实验。结果发现收入提升 12%,仅在美国一年就超过 1 亿美元,而且没有损害关键的用户体验指标(Kohavi 和 Thomke,《哈佛商业评论》)。Kohavi 等人的书还补充说,Bing 每年运行超过 10,000 个实验,效果这么大的简单改动几年才出现一次(Trustworthy Online Controlled Experiments)。

有两点启示。其一,光看仪表盘没人能猜到这个改动重要;是对照测试量出来的。其二,大多数想法没有效果,这正是需要对照组的原因。

例 3:观察法的广告衡量与实验结果不一致

Gordon、Zettelmeyer、Bhargava 和 Chapsky 把观察性方法与随机实验放在同样的广告活动上比较。他们用了 Facebook 的 15 个美国实验,涉及 5 亿条用户—实验观察,把实验作为基准,发现常用的观察性方法往往不能衡量广告的真实效果(Marketing Science,2019)。有些研究接近,有些不接近;作者还指出,即使数据相当全面,也可能不够。

对营销人员的启示不是观察数据没用,而是单看观察性结果,你无法判断它属于接近的那一类还是不接近的那一类。

例 4:一个功能与留存,用数字算一遍

示例数据:10,000 位新用户,一个新的「保存视图」功能,以及 30 天留存。本来就活跃的用户更可能尝试这个功能,而且不用功能也会留下。

分组用户数试用了功能用户的 30 天留存非用户的 30 天留存
本来就活跃2,0001,600(80%)70%68%
其他用户8,0001,600(20%)25%23%
全部10,0003,20047.5%25.6%

在整个用户群里比较功能用户和非用户,差距是 47.5% − 25.6% = 21.9 个百分点。在每个分组内部比较,两组的差距都是 2 个百分点(70% 对 68%,25% 对 23%)。原始差距把效果高估了 10.9 倍,因为活跃用户在功能用户里占比高(3,200 人中有 1,600 人),在非用户里占比低(6,800 人中只有 400 人)。

如果做随机留出组,随机 10% 的用户看不到这个功能,活跃用户就会在两组之间被平衡,测得的差距预计会落在 2 个百分点附近。仪表盘上的相关是真实的,但「这个功能让留存提升 22 个点」这个因果结论不成立。

app.tapcub.com

30 天留存差距:原始值与分组内

示例数据,百分点
原始差距,用户对非用户21.9
本来就活跃的用户内2.0
其他用户内2.0
示例数据
示例数据:10,000 位用户,3,200 人用过功能。用户留存 47.5%,非用户 25.6%,但活跃用户既爱用也会留下。分组内的差距都是 2 个点,所以原始差距把效果高估了 10.9 倍。

不能随机时:Hill 的九个视角

当随机试验做不了时,证据要从多个方向累积。Austin Bradford Hill 在 1965 年的演讲里列出了判断一个关联时可以问的九个「视角」,并强调其中没有哪一个能带来无可争议的证明,也没有哪一个是必须满足的清单项(Hill,《皇家医学会会刊》,1965)。它们很容易翻译成产品问题:

Hill 的视角给产品团队的问题
关联强度效果相比通常的噪声有多大?
一致性在不同的细分、国家和月份里都出现吗?
特异性功能是推动了它该推动的指标,还是什么都在动?
时间先后是先有使用,后有留存改善吗?
剂量反应功能用得更多的用户留存更好吗?
合理性你能用一句话说明机制吗?
一贯性与你已知的用户情况吻合吗?
实验有没有人真的撤掉功能并测量过?
类比别处类似的改动也是这样吗?

观察数据里五个「是」可以建立一个论据,但不能代替「实验」那一行。

区分因果与巧合的快速检查

写下「导致」之前,按顺序做这几项检查:

  1. 先后。 X 发生在 Y 之前吗?如果 Y 在先,可能是反向因果(要流失的用户不再打开应用,所以「使用减少预示流失」有一部分就是流失本身)。
  2. 第三个因素。 有没有什么让 X 和 Y 都更可能出现?例 4 里的活跃用户就是这种模式。
  3. X 是谁选的? 如果人们是自己选的功能,在随机分配证明相反之前,都先假设存在选择偏差。
  4. 偶然。 找到这个结果之前,你做了多少次比较?比较多了,碰上一个侥幸结果就很正常;用 Bonferroni 这类校正,可以看出差多少。
  5. 剂量。 X 越多,Y 也越多吗?
  6. 重复。 在第二个时期或细分里也成立吗?
  7. 机制。 你能用一句话讲清 X 怎样推动 Y 吗?

如果第 1–3 项没通过,就到此为止。只有前三项通过,后四项才有意义。

让措辞与证据相符

你手里的证据稳妥的措辞避免
随机测试,样本足够「这项改动使转化率提高了 X 个百分点(95% 区间……)」不给区间就说「证明」
留出组或自然实验「这项改动很可能提高了……」夸大分组的随机程度
做了调整的观察数据「在调整……之后,与……相关」「导致」「驱动」
原始比较「做了 X 的用户有 Y」任何面向未来的说法(「将会提升」)

措辞往往在仪表盘、聊天记录和汇报幻灯片里跑偏,要在源头改。

TapCub 能说明和不能说明的因果

还是「保存视图」的例子。TapCub 能显示谁用了这个功能、谁留下了;因果的那一步是 TapCub 之外的设计决定。

  1. 先看原始差距。 在 全端分析 › 行为分析 › 行为分析 里,对做过功能事件的人和没做过的人建留存报告。它能复现 47.5% 对 25.6% 的比较,仅此而已。
  2. 按活跃程度分层比较。 用 全端分析 › 用户 › 分群与标签 建一个「本来就活跃」的分群,或者做拆分,再重复一遍。差距缩小,是存在混杂因素的信号。
  3. 标出上线日。 在 配置 › 日期标注 里添加日期标注,让上线、活动和调价都出现在指标旁边的图上。
  4. 把解释当作解释。 全端分析 › 智能运营 › AI 助手 有「变化归因」,把指标的变化按渠道、来源域名、国家、设备和着陆页拆解。它显示变化出现在哪里,不说明为什么。
  5. 谨慎解读客服转化。 客服 › 客服报表 › 转化归因 对比聊过和没聊过的访客,并给出相对提升;聊过的访客少于 30 人时会提示。主动发起聊天的人往往本来就更接近购买,所以这个提升是上限,不是因果估计。

TapCub 不做实验、不分流、不设留出组。留出组由你自己的代码来分配,把分组作为事件属性发送,再用 TapCub 比较结果。

常见问题

因果关系有什么例子?

把新的结算按钮随机展示给一半访客,这一半的销量更高,就是因果证据,因为随机分配让两组除了按钮之外没有别的区别。一项把 16,608 名妇女随机分组、发现中风和乳腺癌风险更高的激素治疗试验,是另一个例子。

怎么证明因果关系?

随机决定谁得到改动,再比较结果。做不到时,就把几条证据结合起来:原因在结果之前,效果随暴露量增加,在不同群体里都成立,机制说得通。Hill 1965 年的视角是经典清单,其中没有一条是保证。

相关和因果有什么区别?

相关是指两个指标一起变化;因果是指改变一个会改变另一个。功能与留存的例子体现了差距:使用该功能的用户留存高 21.9 个点,但在可比的分组里差距只有 2 个点,因为活跃用户既更爱用,也更会留下。

观察数据能说明因果吗?

有时可以,但要小心。调整已知的混杂因素,检查一致性和剂量反应,可以增强论据,但未测量的因素仍然无法排除。在 Facebook 的 15 个广告实验里,常用的观察方法往往与随机结果不一致,所以值得做留出组。

p 值显著就能证明因果吗?

不能。p 值告诉你:如果没有效果,当前数据有多令人意外。它没有说两件事为什么一起变化。自己选择分组的两组人之间的显著差异,完全可能来自谁选择了进入哪一组。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

林舟

产品体验专员

关注产品体验、功能使用与增长实践,喜欢把复杂流程拆成清晰步骤,让分析结果更容易用到日常决策中。

先看原始差距,再去验证

比较用过和没用过某个功能的人的留存,在图上标出上线日,并把你的留出组作为事件属性发送。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie