一句话回答
自选择偏差指人自己把自己放进某个组,于是这个组在选择之前就和没选的人不同。留存或转化上的差距,就既反映了你要研究的那件事的效果,也反映了谁选择了加入。
自选择偏差是什么,和相邻的几种偏差有何不同
自选择偏差出现在这种情况:比较的两组人是自己把自己放进某一组的,而不是被分配进去的。选择加入的人,在动机、需求、技能或预算上本来就和没加入的人不同,所以两组之间的差距,混合了你要研究的那件事的效果和「谁会选它」的效果。
产品工作里最典型的说法是:「用了功能 X 的用户留存更高,所以 X 提升了留存。」能找到并用上 X 的人,往往本来就打算留下。牛津大学循证医学中心维护的 Catalogue of Bias 在医学里描述了同样的模式:它的激素治疗例子里,选择治疗的女性更注重健康、更爱运动、经济条件更好,这就把比较搅乱了。
| 自选择偏差 | 选择偏差(总称) | 幸存者偏差 | |
|---|---|---|---|
| 谁决定谁进样本? | 人自己(主动加入) | 任何人:研究者、流程、参与者 | 流失的过程(只剩下留下来的人) |
| 产品里的典型例子 | 功能使用者与非使用者;自愿参加内测的人;回答问卷的人 | 只分析已登录用户 | 只分析今天仍然活跃的用户的留存 |
| 差距为什么会误导 | 功能出现之前,两组就已经不同 | 样本和你关心的总体不同 | 离开的人不在数据里 |
| 主要对策 | 比较起点相同的人;随机分配 | 重新定义总体;加权或扩大样本 | 把所有开始的人都算进来,而不只是走到终点的人 |
更大的一族见选择偏差和幸存者偏差。背后的机制,即同时影响选择和结果的第三个因素,叫混杂变量。本页只讲选择由用户自己做出的这一种。
例 1:用功能的人留存更高,可是谁选了这个功能?
示例数据:1,000 个用户的第一个月。300 人至少用过一次报表功能,700 人没用过。留存指注册后 30 天仍然活跃。
| 分组 | 用户数 | 留存人数 | 30 天留存率 |
|---|---|---|---|
| 用过功能 | 300 | 190 | 63.3% |
| 没用过 | 700 | 175 | 25.0% |
| 差距 | 38.3 个百分点 |
38 个点的差距看上去像证据。现在按一个在功能出现之前就存在的意愿代理指标把所有人拆开:用户第 1 天有没有完成设置(建项目、接数据源)。
| 第 1 天设置 | 分组 | 用户数 | 留存人数 | 留存率 |
|---|---|---|---|---|
| 已完成 | 用过功能 | 260 | 182 | 70.0% |
| 已完成 | 没用过 | 140 | 91 | 65.0% |
| 未完成 | 用过功能 | 40 | 8 | 20.0% |
| 未完成 | 没用过 | 560 | 84 | 15.0% |
在每个设置分组里,差距都是 5 个点(70 对 65,20 对 15)。按两组占 1,000 人的比例加权(400 人完成、600 人未完成),得到 0.4 × 5 + 0.6 × 5 = 5 个点。也就是说,把设置行为固定住之后,38.3 个点里大约只有 5 个点能归给功能,其余 33.3 个点(占 87%)来自谁选了它:300 个功能使用者里有 260 人完成了设置,而 700 个非使用者里只有 140 人。第 1 天设置只是一个代理指标,所以连这 5 个点也只是功能作用的上限估计;你看不到的其他差异依然存在。
例 2:自愿参加内测的人
示例数据:3,000 个用户受邀参加内测,900 人报名,2,100 人没报名。内测开始后的 90 天里,志愿者留存 80%(900 人中 720 人),其他人留存 50%(2,100 人中 1,050 人),差距 30 个点。
同一批用户有历史数据。内测开始前的 90 天里,志愿者留存 78%(900 人中 702 人),其他人留存 49%(2,100 人中 1,029 人):在谁也没见到内测之前,就已经有 29 个点的差距。
| 时期 | 志愿者 | 其他人 | 差距 |
|---|---|---|---|
| 之前 90 天 | 78% | 49% | 29 个点 |
| 之后 90 天 | 80% | 50% | 30 个点 |
| 差距的变化 | +2 | +1 | +1 个点 |
内测让差距变动了 1 个点,而不是 30 个点。拿一个群体和它自己更早的行为比,能去掉志愿者身上原本就有的所有差异。它去不掉那些恰好和内测同时开始变化的差异(比如某个志愿者换了工作),但比事后只比一次要接近得多。
例 3:打开在线客服的访客
示例数据:1,800 位访客看过定价页,200 人打开了聊天,1,600 人没有。订单:200 人中 36 单(18.0%),对 1,600 人中 109 单(6.8%),差距 11.2 个点。再按意愿拆分,用访客是否看过两次及以上定价页来区分:
| 意愿 | 是否打开聊天 | 用户数 | 订单数 | 转化率 |
|---|---|---|---|---|
| 高(看过 2 次及以上定价页) | 是 | 150 | 30 | 20.0% |
| 高 | 否 | 450 | 63 | 14.0% |
| 低(看过 1 次) | 是 | 50 | 6 | 12.0% |
| 低 | 否 | 1,150 | 46 | 4.0% |
在每个意愿分组里,差距是 6 和 8 个点,而不是 11.2。打开聊天的 200 人里有四分之三(150 人)是高意愿的,没聊天的 1,600 人里只有 450 人(28%)。差距有一部分是意愿造成的,也可能有一部分是真的。拆分之后还剩下的差距,是一个要去检验的估计,而不是可以直接报告的结论。
怎样降低自选择偏差
| 方法 | 怎么做 | 能解决什么 | 解决不了什么 |
|---|---|---|---|
| 比较条件相同的人 | 按选择之前就固定的特征(来源、套餐、第 1 天行为、注册周)拆分,在每个分组内比较,再合并结果 | 你测到的差异 | 你没测到的差异 |
| 比较前后变化 | 看同一批人在前后的行为,比较两组的变化量 | 两组之间稳定的差异 | 和暴露同时发生变化的差异 |
| 延后比较 | 从一个固定时点(首周)开始测,而不是从「首次使用」开始 | 早期流失的人被当成非使用者 | 动机 |
| 随机分配 | 随机决定谁获得功能再比较 | 样本够大时,所有差异 | 需要实验工具 |
无论用哪种方法,有两个习惯都有用。看结果之前,先写下是什么选择把人放进了各组,并问还有什么会驱动这个选择。再让每次比较小到能读懂:拆到三四层之后,分组就小得不可信了。
常见误区
- 把原始差距当成功能效果。 例 1 里的 38.3 个点描述的是两组人,不是功能。
- 用功能出现之后才发生的东西去调整。 功能本身会带来会话数,却按「完成三次会话」拆分,会抹掉一部分真实效果。要用暴露之前就固定的特征。
- 把志愿者当成总体。 问卷、内测、反馈小组件,只能说明回答的人,不能说明所有用过产品的人。
- 把一次调整当成证明。 按设置行为匹配(例 1)之后仍有看不到的差异,报告里要写明。
- 拆到分组很小。 例 1「未完成」的那一格只有 40 人,多留存 1 个人,比率就变 2.5 个点。
在 TapCub 里怎么看自选择偏差
把例 1 放进 TapCub。目标是弄清:用某个功能的人是否比条件相当、没用的人留得更久,并且在条件相同的比较下,差距还剩多少。
- 把选择记成事件。 用户第一次使用功能时发一个事件(比如
report_viewed),这样才能建出「做过」和「没做过」两个规则分群。 - 把两组建成分群。 在全端分析 › 用户 › 分群与标签里建规则分群,比如「最近 60 天首次出现且做过
report_viewed」和「最近 60 天首次出现且没做过report_viewed」。 - 逐组看留存。 在全端分析 › 行为分析 › 行为分析里打开留存,以注册为起点,每次套用一个分群。留存没有细分维度,所以每个分群各跑一次,再比较比率。
- 按事先固定的特征再拆。 给每个分群加第二个条件,比如获客渠道(来自网站统计 › 来源)、新老用户,或第 1 天是否做过设置事件,然后重复。如果差距从 38 个点缩到 5 个点,说明最初那个数字主要来自谁选了这个功能。
- 知道边界。 TapCub 不做 A/B 实验,也不给用户分组,所以无法随机分配。它显示差距,以及差距在条件相同的比较下还剩多少;要确认因果,请在你自己的工具里做实验,再用这里衡量结果。
资料来源
- Heckman, J. J.(1979)。Sample Selection Bias as a Specification Error,Econometrica,47(1),153–161。
- Catalogue of Bias。Selection bias(自选择与混杂的激素治疗例子)。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
