实验者偏差：定义、例子和避免方法

什么是实验者偏差？

实验者偏差（Experimenter Bias）是指研究者的预期通过研究的设计、执行、测量或解读，影响了研究结果。做实验的人希望或预期某个结果，一些往往无意识的小选择就把数据往那个方向推。

它也叫观察者期望效应或研究偏差。经典的例子来自心理学：在 Robert Rosenthal 和 Kermit Fode 1963 年的研究里，被告知自己的实验鼠「擅长走迷宫」的学生，记录到的表现比被告知「不擅长」的学生更好，而两组老鼠其实没有区别。

实验者偏差怎么混进产品实验

只要做功能的人同时也在评估这个功能，同样的机制就会出现：

这些都不需要恶意，只是有动机的人读充满噪声的数据时可以预见的结果。

一个例子

团队上线了重新设计的新手任务清单，做了两周实验（示例数据）：

产品经理的周报：「任务清单缩短了建好头一个项目的时间，提高了设置完成率；激活率呈上升趋势。」中立的解读是：主要指标没有变化；12 个没有事先计划的指标，在 5% 水平下本来就预计会出现约 0.6 个假阳性，两个「胜出」和纯随机能产生的差不多。是预期决定了哪些数字进了总结。见 p 值操纵和基础比率谬误。

和相关偏差的区别

• 确认偏误： 偏向支持自己观点的信息的普遍倾向；实验者偏差是这种倾向作用在一项研究上。
• 选择偏差： 参与者是怎么被分到各组的；实验者偏差可能导致它，比如亲手挑选内测用户。
• 需求特征： 参与者猜到研究者想要什么，于是改变行为。
• 霍桑效应： 人们知道自己被观察，所以行为不同。

怎么减少实验者偏差

1. 先定分析，再看数据。 书面写下主要指标、护栏指标、分群、时长和决策规则，在任务单里写一段简短的预注册就够了。
2. 自动随机分组。 让实验工具分配用户，不要人为挑选谁先用新版本。
3. 能盲就盲。 做出决定前，分析里只叫 A 版和 B 版；或者请没有参与开发的人来分析。
4. 先报主要指标和它的区间，并列出看过的所有其他指标。
5. 用事先定好的护栏指标，免得局部的小胜掩盖了更大的损失。
6. 定性研究标准化。 中立的访谈提纲；招募时纳入非用户和不满意的客户。
7. 意外的结果要复验。 再做一次实验或留一段对照期，看效果是不是真的。

日常分析工作里

实验者偏差不只出现在 A/B 测试里。只要分析师「已经知道」答案应该是什么，比如活动肯定有效、下降肯定是竞品造成的，同样的推力就会出现：选时间范围、选对比周期、选分群。打开看板之前，先把问题和对比方式写下来，再请一位和结论没有利害关系的同事检查推理。TapCub 可以事先保存报表视图，并在图上标注改动上线的时间，更容易去读事先计划好的对比，而不是看起来最顺眼的那个。

参考资料

• Rosenthal, R. and Fode, K. L. (1963). The effect of experimenter bias on the performance of the albino rat. Behavioral Science, 8(3).
• Wikipedia. Observer-expectancy effect.
• Kohavi, R., Tang, D. and Xu, Y. (2020). Trustworthy Online Controlled Experiments. Cambridge University Press.