TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

数据分析里的偏差类型:四个环节,以及每一步先查什么

数据分析里的偏差总是从四个环节之一混进来:抽样、测量、分析、解读。本文给出各类偏差的总表和例子、一个机器人流量的算例,以及一份可以直接拿去核对报表的检查清单。

苏禾 发布于 2026 年 11 月 15 日 13 分钟阅读 数据分析
示例数据:订单和真人访客都没变,但把 2,500 次机器人访问算作访客后,报表上的转化率从 3.00% 降到 2.40%,被低估了 20%。示例数据

数据分析里的偏差,按混进来的环节来分,处理起来最顺手:抽样(哪些人在数据里)、测量(数值怎么记录)、分析(数据怎么处理)、解读(结果怎么读)。每个环节都有一个可以在自己报表里先查的信号。下面是四类偏差的总表、每种常见偏差一段说明、一个机器人流量的算例和一份检查清单。

读完你会知道

  • 按混入的环节给偏差分类:抽样、测量、分析、解读
  • 每个环节都有先查的信号:样本构成、台阶式跳变和机器人占比、分组结论、事先写下的假设
  • 样本再大也消除不了偏差,要改的是谁被计入、数值怎么记录

数据分析里的偏差主要有哪几类?

偏差的清单可以列得很长。牛津大学维护的「偏差目录」(Catalogue of Bias)收录了几十个条目,它的源头是 David Sackett 1979 年的论文:那篇论文列出了抽样和测量中的 35 种偏差,另外还有 56 种可能影响病例对照研究和队列研究的偏差。清单这么长,周二下午报表突然看着不对劲时,很难拿来直接用。真正让它好用的,是 Sackett 一开始就埋下的思路:每种偏差都是在工作的某一个环节混进来的。

对业务数据和产品数据来说,四个环节基本能覆盖全部情况:

  1. 抽样——哪些人、哪些东西进了你的数据。你测到的人,和你想描述的人不是同一群。
  2. 测量——数字是怎么记录下来的。埋点、问卷的问法或者收集数据的人,让数值整体往一个方向偏。
  3. 分析——数字是怎么处理的。比较时把不同人群混在一起、漏掉了一个变量,或者一直试到某个结果「显著」为止。
  4. 解读——你得出了什么结论。数据本身没问题,但读数据的人倾向于自己原本的预期,或者被最近发生的事带着走。

这四类都属于严格意义上的统计偏差:估计值和真实值之间存在系统性的差距;它和随机误差不同,随机误差会随着数据变多而缩小,偏差不会。NIST 2022 年关于 AI 偏差的报告把偏差分成系统性偏差、统计 / 计算偏差和人为偏差三类。这里的四个环节,是对后两类按分析实际进行的顺序做的一个实用切分,这样你可以从上往下过一遍报表,知道每一步该看哪里。

下面的表格列出每个环节常见的偏差、网站和产品数据里的例子,以及应该先查的那一个信号。后文逐个环节展开,每种偏差写一段,有对应术语页的就链过去。

环节常见偏差网站数据里的例子先查什么
抽样抽样偏差、选择偏差、幸存者偏差、无应答偏差问卷只发给邮件订阅用户样本构成和总体对比(设备、渠道、套餐)
测量非真人流量、埋点偏差、观察者偏差、霍桑效应、回忆偏差爬虫被算作访客发版日期的台阶式跳变;机器人占比
分析混杂、辛普森悖论、P 值操纵、异常值、均值回归总体结论在设备分组里反转结论在最大的两个分组里是否成立?
解读确认偏差、近因偏差、忽视基础比率、过度推断因果一周表现不好就改战略看数据之前假设写下来了吗?

环节按分析进行的顺序排列;偏差在它混进来的那个环节解决,成本最低。

抽样偏差:哪些人进了你的数据?

抽样偏差发生在算出任何一个数字之前。数据可以记录得完全准确,却描述了错误的人群。

抽样偏差。 总体中某些成员比其他成员更容易被纳入样本,于是样本的构成和总体不一样。一份只发给邮件订阅用户的客户问卷,会让你最活跃的那批客户占比过高。解决办法是让每一组都有已知的入样概率,或者按总体构成把结果加权回去。详细说明和算例见抽样偏差;各组差异很大时,常用的办法是分层抽样。英文里的 sample bias 说的是同一件事,只是名字短一些。

选择偏差。 你拿来比较的几组人,分组方式本身就和结果有关。主动打开聊天、加入内测或者安装 App 的访客,在你的产品对他们产生任何作用之前,就已经和其他人不一样了。把两组直接相比、把差异当成效果,是典型的选择偏差。见选择偏差。

幸存者偏差。 你只看得到通过了某道筛选的那些案例。分析现有客户来研究「大家为什么留下来」,就忽略了已经离开的人以及他们离开的原因。流失的账户、被删掉的 App、失败的活动,很少出现在你正在看的数据集里。见幸存者偏差。

无应答偏差。 填问卷的人和不理问卷的人不一样。满意度问卷只有 8% 的人回复,结果描述的就只是这 8%;而且非常满意和非常不满意的客户往往占比偏高。偏差目录里的无应答偏差条目讲了它的形成机制。

先查的信号: 找两三个你对样本和总体都知道的维度,比如设备构成、新访客与回访访客、套餐类型,对比两边的构成。如果样本里桌面端占 70%,而你的整体流量里桌面端只占 45%,那么这个样本得出的每个数字都需要加一句说明。

测量偏差:数字是怎么记录下来的?

测量偏差改变的是数值本身。在网站分析里,「数字看着不对」最常见的原因就是它,因为在真实世界和报表之间隔着一层埋点。

非真人流量。 爬虫、监测工具、抓取程序和 AI 代理都会加载页面。如果把它们算作访客,每个比率的分母都会被抬高,而它们几乎从不转化。IAB/ABC 国际爬虫与机器人名单之所以存在,就是因为广告和受众测量需要一套共用的办法把它们过滤掉。下面的算例会展示这件事能让转化率变动多少。

埋点偏差。 某个标签触发了两次,同意横幅让部分地区的事件发不出来,一次新版本把某个事件改了名。这时数据就会在一段时间内、或者在一部分受众身上,系统性地多算或少算。它通常表现为发版当天出现一个台阶式的跳变,而不是逐渐变化的趋势。

观察者偏差和实验者偏差。 做研究的人通过分组方式、给会话打标签或者判断模糊案例的方式影响了结果。一位预期新改版会胜出的分析师,会把模棱两可的会话录像标成「满意」。见实验者偏差;偏差目录里另有一个观察者偏差的条目。

霍桑效应。 人们知道自己被观察,就会改变行为。可用性测试的参与者比真实用户更卖力;销售团队知道看板是新上线、有人在盯,头几周登记的活动就会多一些。

回忆偏差。 自己报告的数据和实际发生的事有出入。问买家「您是从哪里知道我们的?」,他们说出的是最后一个或印象最深的触点,不一定是最早的那个。

先查的信号: 看有没有和发版、同意策略调整或埋点修改对得上的台阶式跳变,再看记录到的流量里非真人的占比是多少。某个指标在某一天突然变化、之后一直停在那里,更多是测量方式变了,而不是用户行为变了。

算例:机器人会把转化率拉低多少?

示例数据。一家网店一个月有 10,000 名真人访客,产生 300 笔订单。真实的访客转化率是 300 ÷ 10,000 = 3.00%。

现在假设它的统计工具把爬虫和监测访问也算作访客。机器人几乎不会下单,所以分子还是 300,分母却在变大:

被算作访客的机器人访问分母报表上的转化率相当于真实值的
010,000300 ÷ 10,000 = 3.00%全部(就是真实值)
1,00011,000300 ÷ 11,000 = 2.73%91%
2,50012,500300 ÷ 12,500 = 2.40%80%
5,00015,000300 ÷ 15,000 = 2.00%67%
10,00020,000300 ÷ 20,000 = 1.50%50%

有 2,500 次机器人访问时,「访客」里五分之一不是人,报表上的转化率比真实值低 0.6 个百分点,也就是低了 20%。而客户那边什么都没变。

更危险的情况,是机器人在一次对比的中途突然增多。假如机器人访问从这个月的 1,000 次涨到下个月的 4,000 次,真人和订单都没变,报表上的转化率就会从 300 ÷ 11,000 = 2.73% 掉到 300 ÷ 14,000 = 2.14%。看起来转化率下降了 22%,然后就会有人开始改结账页。

由此能得出两点。样本更大也没用:流量翻倍、机器人占比不变,转化率照样错得一样多。而且要在测量这一步解决,把非真人流量从分母里去掉,而不是到分析那一步再靠复杂的统计方法补救。

app.tapcub.com

机器人访问被计入后,报表上的转化率

300 笔订单,10,000 名真人
只算真人3.00%
加 1,000 次机器人访问2.73%
加 2,500 次机器人访问2.40%
加 5,000 次机器人访问2.00%
加 10,000 次机器人访问1.50%
示例数据
示例数据:订单和真人访客都没变,但把 2,500 次机器人访问算作访客后,报表上的转化率从 3.00% 降到 2.40%,被低估了 20%。

分析偏差:数字是怎么处理的?

数据本身正确,但汇总或比较的方式把它扭曲了,就是分析偏差。

混杂。 有第三个变量同时影响了你改动的东西和结果。用某个功能的客户留存更好,但两者可能都是公司规模带来的。在把规模考虑进去之前,这个功能就把规模的功劳也算到了自己头上。见混杂变量。

辛普森悖论。 某个趋势在每个分组里都成立,合起来却反过来了,原因是被比较的两组里各分组的占比不同。一个新落地页在手机端和桌面端的转化都更好,但如果它分到的手机流量多得多,总体上反而可能显得更差。见辛普森悖论。

P 值操纵和多重比较。 把一次测试按足够多的分组、指标和日期范围切开,总会有某个结果因为偶然越过 p < 0.05。在这个阈值下做 20 次相互独立的比较,即使什么效果都没有,也预期会出现大约 1 个假阳性。见P 值操纵和错误发现率。

异常值处理。 去掉还是保留几个极端值,可能让平均值大幅摆动。因为「看着像测试单」就删掉所有超过某个金额的订单,可能把真正的批发客户也删掉了。处理规则要在看到结果之前定好;可选的做法见数据里的异常值。

均值回归。 挑出表现最差的那一周、那个页面或那个活动,做了干预,下一期它变好了;部分原因是极端值本来就会自己往平均水平靠。见均值回归。

先查的信号: 把核心结论按一两个主要维度拆开(设备、渠道、新访客与回访访客)。如果效果在分组里消失或者反转,核心结论就是人群构成造成的假象。

解读偏差:你得出了什么结论?

解读偏差出在看数据的人身上。数字和方法都没问题,从中讲出的故事却站不住。

确认偏差。 支持你原有看法的结果,你会注意到并接受;不支持的,你会反复挑毛病。一个认定客服能带来销售的团队,会把客服没起作用的每一周翻来覆去地查,而起了作用的每一周直接放过。偏差目录里的确认偏差条目说明了它如何同时影响你找什么和怎么读。

近因偏差。 最近一个数据点的分量被放大。连续六周不错之后出现一周不好,就开始重新讨论战略。见近因偏差。

忽视基础比率。 判断一个结果时没看它的分母。「流失用户里有一半从没设置过集成」,如果所有用户里本来就有一半没设置过,这句话就没多大意义。见基础比率谬误。

过度推断因果。 把观察数据里的相关性当成因果关系。和客服聊过的访客转化更高,但他们来的时候意向也更强。两者的区别和检验方法见相关性与因果关系。

先查的信号: 问一句:假设和衡量成功的指标,是不是在任何人看数据之前就写下来了?如果没有,就把结论当成一条有待检验的线索,而不是一个发现。

任何报表都能用的偏差检查清单

数据分析里的偏差,总是从四个环节之一混进来,每个环节都有一个信号,可以在你相信这个数之前先查。按顺序检查,哪一条不过就先停下来解决。

  1. 总体。 这个数要描述的是谁?如果样本在设备、渠道或套餐上的构成和总体相差超过大约十个百分点,就重新加权或者加上说明。
  2. 排除项。 哪些东西被过滤掉了:流失用户、失败订单、机器人、没有同意的地区?只要删过东西,就写下来删了什么。
  3. 非真人占比。 记录到的流量里,爬虫和监测访问占多少?如果不知道,这就是要先弄清楚的事。
  4. 台阶式跳变。 数据在发版或埋点修改的日期有没有跳一下?如果有,把前后两段分开比较。
  5. 分组。 结论在最大的两个分组里还成立吗?如果反转了,就按分组报告,不报总体。
  6. 看了几次。 在这个结果之前,试过多少个指标、多少种切法?如果不止几个,任何单个「显著」的结果都要打折扣。
  7. 样本量。 这个比率背后有多少人?18 个人得出的 22% 转化率,95% 区间大约是 9% 到 45%。
  8. 事先的假设。 预期的结果是不是事先写下来了?如果没有,就把结论标为探索性的。

在 TapCub 里检查偏差

上面的机器人算例,TapCub 默认就替你处理了。清单里的其他步骤仍然需要人来判断,但有几步在控制台里有直接对应的地方。

  1. 别让机器人进分母。 新项目里,网站统计 › 机器人 默认是「识别并单独统计」:认出来的爬虫和 AI 代理只出现在这张报表里,不会加进访客数。所以算例里的 300 笔订单除以的是 10,000 名真人,而不是 12,500。「All bots」页签列出每个机器人的运营方、用途、请求数和访问页数,机器人激增时你看到的是它本身,而不是一次转化率下滑。
  2. 在图表上标出测量方式的变化。 每次埋点有改动,就在 配置 › 日期标注 里加一条发版标注。台阶式跳变和标注对得上,清单第 4 条一眼就有了答案。
  3. 检验变化在各分组里是否成立。 全端分析 › 智能运营 › AI 助手 里有「变化归因」页签,把某个指标相对上一期的变化按渠道、来源域名、国家、设备、着陆页或平台拆开,并给出每一项占总变化的比例。如果某一个分组解释了大部分下降,先看它的构成,再判断是不是趋势。
  4. 尊重小样本和自选择。 客服 › 客服报表 › 转化归因 对比聊过和没聊过的访客,聊过的人少于 30 时会提示样本太少、不宜依赖。这个对比仍然是观察性的:聊天是访客自己选的,这种选择偏差报表消除不了。
  5. 需要时抽随机分组。 全端分析 › 用户 › 分群与标签 的规则分群支持随机分桶条件,可以用来从已识别用户里抽一个随机子集。TapCub 不做流量分配,也不跑 A/B 测试;匿名访客没有档案,不会进入分群。

常见问题

数据分析里的偏差分哪四类?

按混进来的环节分,四类是:抽样偏差(哪些人在数据里)、测量偏差(数值怎么记录)、分析偏差(数据怎么处理和比较)、解读偏差(结果怎么读)。每一类都有一个可以先查的信号:样本构成和总体对比;台阶式跳变和机器人占比;结论在各分组里是否成立;看数据之前假设有没有写下来。

什么是统计偏差?

统计偏差是估计值和真实值之间的系统性差距。它和随机误差不同,不会因为数据变多而被平均掉:一份只触达活跃客户的问卷,收回 100 份还是 10,000 份都一样偏。统计里的偏差类型包括选择偏差、幸存者偏差、测量偏差、混杂和报告偏差,各有各的解决办法。

加大样本量能减少偏差吗?

不能。加大样本减少的是随机误差,不是偏差。在上面的算例里,如果机器人占记录访问的 20%,流量翻倍后还是 20%,转化率照样被低估五分之一。消除偏差要改的是谁被纳入、数值怎么记录、分组怎么比较,而不是把同样的数据再多收一些。

抽样偏差和选择偏差有什么区别?

抽样偏差说的是样本怎么抽:总体中有些成员更容易被纳入,样本代表不了总体。选择偏差说的是比较的分组怎么形成:是否属于某组和结果有关,比如访客自己选择是否聊天。两个词有重叠,也常被混用,但解决办法不一样。

怎样减少数据分析中的偏差?

按环节顺序来。先定义总体,把样本构成和它对比;去掉非真人流量,标注埋点改动;检查结论在主要分组里是否成立;限制测试的切法数量;在看数据之前写下假设。大多数偏差在抽样和测量这两步预防,比事后纠正便宜得多。

另见:自选择偏差是什么?产品里的例子、计算和降低办法。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

苏禾

数据分析师

围绕流量来源、转化漏斗与用户留存写作,重视指标口径和分析过程,用具体示例解释数字背后的问题。

分母里没有机器人的分析

机器人单独统计、按分组拆解变化、为埋点改动加日期标注,都在同一个项目里。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie