数据中的异常值：怎么找出来、怎么处理

一个极端值就能让平均数失去意义。本文讲清统计数据里的异常值是什么，对比四种识别方法，用 IQR 规则和 z 分数把 12 个订单算一遍，并说明怎么判断一个异常值是错误还是值得报告的真实数据。

什么是异常值

异常值是离大多数其他值很远的值。它可能是错误（机器人、测试订单、手误、计时器坏了），也可能是真实但少见的情况（批量订单、某天爆火、一个特别活跃的客户）。方法能找出候选；判断是哪一种，要靠人。

统计数据里常见的异常值

• 会话时长：一个标签页开了一整夜，记成 9 小时的会话。
• 订单金额：一笔批发订单是平常客单价的 30 倍。
• 流量：机器人或一次媒体报道让某天的访问翻了好几倍。
• 每个用户的事件数：一段脚本或一个重度用户触发了几千个事件。

最先受害的是平均数：一个极端值就能把平均数拉得离「典型情况」很远。见平均数和中位数。

识别方法

下表对比四种常用方法。

用统计方法找候选，用业务规则做判断。

完整例子：12 个订单

某天的订单金额（示例数字），已排序：

22、25、28、30、31、34、36、38、41、45、52、960 美元

IQR 规则：

• 下半部分：22–34，Q1 = (28 + 30) ÷ 2 = 29 美元
• 上半部分：36–960，Q3 = (41 + 45) ÷ 2 = 43 美元
• IQR = 43 − 29 = 14 美元
• 上界 = Q3 + 1.5 × IQR = 43 + 21 = 64 美元；下界 = 29 − 21 = 8 美元
• 960 高于 64：是异常值。其余订单都在界限内。

z 分数：平均数是 111.83 美元，样本标准差约 267 美元。960 的 z 分数是 (960 − 111.83) ÷ 267 ≈ 3.2，刚刚超过常用的 3。异常值本身抬高了用来衡量它的标准差，所以在小样本里，z 分数经常漏掉异常值。只有 12 个值时，任何 z 分数都不可能超过约 3.2。

对汇总数的影响：

• 含异常值的平均数：111.83 美元
• 去掉后的平均数：34.73 美元
• 中位数（两种情况都一样）：35 美元

中位数几乎不受 960 美元订单的影响；平均数却翻了三倍。

是错误还是真实的？

按顺序问：

1. 可能吗？负数价格，或一天 24 小时里出现 30 小时的会话，是错误。修正或删除。
2. 是已知的干扰吗？机器人、测试、重复、没关的标签页。清洗时去掉，见数据清洗方法。
3. 是真的吗？查来源：这笔 960 美元的订单是一家咖啡店批量采购。是真的。
4. 你在回答什么问题？问「典型客单价」，报中位数，或者去掉批发订单后的平均数。问「收入」，960 美元要全额计入。

真实异常值的处理方式：

• 保留，在平均数旁边同时报告中位数或百分位。
• 分群：批发和零售分开报告。
• 封顶（缩尾）：把超过某个百分位的值替换成那个百分位的值，见缩尾处理。
• 删除：只在有书面规则、并且每次都同样执行时才删。

在 TapCub 里看分布

在 全端分析 › 行为分析 › 行为分析 里，数值型指标可以按平均数、中位数或 90 分位聚合，订单金额或会话时长都能把中位数和平均数并排看；分布模型显示数值落在各个区间的情况。要看随时间出现的异常，用异常检测条件的监控，某个指标远远偏离平常范围时提醒。相关阅读：标准差和标准误、百分位数和异常检测。

另见：四分位距（IQR）、散点图。