一句话回答
数据聚合是把大量原始记录按时间或渠道、设备等维度分组,合并成总数、求和、平均、中位数、百分位数等汇总值的过程。
公式: 均值 = 总和 ÷ 非 NULL 值个数;中位数 = 排序后居中的值(percentile_cont(0.5));P90 = 90% 的行低于的值(percentile_cont 插值,percentile_disc 取整秩)。
什么是数据聚合?
数据聚合是把大量原始记录按时间或渠道、设备等维度分组,合并成总数、求和、平均、中位数、百分位数等汇总值的过程。得到的结果叫汇总数据(也叫上卷):不再是一行一个事件,而是一行一个分组。
每一次聚合都在做两个选择:
- 怎么分组——哪些记录算一组。SQL 里就是
GROUP BY:同一天的所有订单、同一渠道的所有会话、同一个用户的所有事件。 - 用什么聚合函数——每组怎么压成一个数字:数行数、把金额加起来、取中间那个值。
SELECT channel, COUNT(*) AS orders, SUM(amount) AS revenue
FROM orders
GROUP BY channel;
汇总到多粗,由两条轴决定:时间(小时 → 天 → 周 → 月)和维度(设备 → 渠道 → 总计;或者城市 → 国家,也就是空间聚合)。运行方式可以是批处理(每晚跑一次),也可以是实时(事件一到就更新);但比分批还是实时更重要的,是分组的选择。
聚合让数据变得可读:没人能逐条看完一百万行事件。但每一份汇总同时也在删掉细节——下面算例里那笔 $900 的订单,进了日均值就看不见了。所以这篇文章的判断规则是:先想清楚谁要回答什么问题,再决定汇总到多粗,同时留好能下钻的原始数据。
常见聚合函数
选哪个函数,决定这份汇总回答什么问题,也决定它会藏住什么错误。下表「注意」一列的数字全部来自下一节的订单算例(示例数据),每一条都可以自己复算。函数语义以 PostgreSQL 聚合函数文档和 SQLite 内置聚合函数文档为准。
| 函数 | 公式 / 定义 | 回答什么问题 | 注意什么 |
|---|---|---|---|
| count(计数) | 行数;count(*) 数所有行,count(x) 跳过 NULL | 发生了多少次事件? | NULL 会悄悄让 count(x) 变小:下面例子里 10 对 8 |
| count distinct(去重计数) | 不同取值(用户、订单)的个数 | 是多少人,而不是多少次? | 重复事件会抬高普通计数:10 笔订单 ≠ 7 个买家 |
| sum(求和) | x₁ + x₂ + … + xₙ | 总量或总收入是多少? | 一行离群值就能主导:$1,155 里 $900 来自一笔 |
| avg / mean(平均) | 总和 ÷ 非 NULL 值的个数 | 数据对称时,典型值是多少? | 被离群值拉偏:115.5 对中位数 29 |
| median(中位数) | 排序后居中的值;percentile_cont(0.5) | 有离群值时,典型值是多少? | 完全看不到尾部 |
| percentile(百分位数,P90) | 90% 的行都低于的那个值 | 尾部有多差? | 口径不同答案不同:126(插值)对 40(取整秩) |
| min / max(最小 / 最大) | 最小值 / 最大值 | 范围和极端情况是什么? | 最大值只是一行,不是趋势 |
| mode(众数) | 出现次数最多的值(PostgreSQL mode()) | 最常见的类别是什么? | 小样本下不稳定 |
两个值得记准的官方定义:PostgreSQL 的 percentile_cont(fraction) 在排序后相邻两个值之间插值,而 percentile_disc 取排序中位置达到指定分数的输入值,不插值。SQLite 的 avg(X) 除以的是非 NULL 输入的个数,不是行数。这两处差别都会改变发布出去的数字,后面两节会算给你看。什么时候该用中间值而不是平均值,见均值与中位数;怎么读尾部,见百分位数。
算例:一天的订单,五种答案
示例数据:一家虚构商店 2026-11-10 的十笔订单(美元):18、22、25、25、28、30、32、35、40、900。去重后 7 个买家:1 人下了 3 单、1 人下了 2 单、5 人各下 1 单(3+2+5=10)。$900 那笔是 14:00 的一次批量采购。
同样十行数据,换不同的聚合方式:
| 问题 | 聚合方式 | 计算过程 | 答案 |
|---|---|---|---|
| 收入多少? | sum | 18+22+25+25+28+30+32+35+40+900 | $1,155 |
| 多少笔订单? | count | 10 行 | 10 |
| 典型单笔金额(均值)? | avg | 1,155 ÷ 10 | $115.50 |
| 典型单笔金额(中位数)? | median | 排序后第 5、6 位:(28+30) ÷ 2 | $29 |
| 尾部有多差? | P90 | cont:秩 0.9 × (10−1) = 8.1 → 40 + 0.1 × (900−40);disc:ceil(0.9 × 10) = 第 9 位 | $126 对 $40 |
| 每个买家贡献多少? | sum ÷ count distinct | 1,155 ÷ 7 | $165 |
三件事值得注意。
均值说错了「典型」。 均值 115.5 的背后,十笔里有九笔不超过 $40;中位数 29 才更接近多数订单的样子。均值的工作是总和 ÷ 个数,不是「多数顾客的真实体验」。
P90 取决于口径。 同一份数据,插值法算出 126,取整秩法算出 40,差了三倍。发布百分位数时一定写清口径,否则两个团队的 P90 永远对不上。
每单 ≠ 每人。 115.5 对 165:回头客把人均数字抬高了。「平均订单金额」和「人均消费」回答的是两个问题,报表标题要写清是哪一个。
离群值检验:去掉 $900 那行。总和变成 255,均值 255 ÷ 9 = 28.33;剩下九行的中位数是 28。把那笔批量订单加回来,均值从 28.33 跳到 115.5(×4.1),中位数只从 28 动到 29。如果看板只放均值,一笔批发订单就能改写你的「典型顾客」故事,中位数却几乎不动。两个数字都没有错——它们回答的是不同的问题,而那行原始数据,正是你能把这个差距解释清楚的原因。
该汇总到多粗?
粒度就是每个分组的大小,还是那两条轴:时间(小时 / 天 / 周)和维度(设备 → 渠道 → 总计)。每往上合并一层,就删掉一层区别。上面的例子里,日均值把 14:00 的批量订单藏进九笔小单里;按小时看,就是一个正常的上午加一个异常的下午时段。同一份数据,可见度完全不同。完整展开见数据粒度。
判断规则——从问题出发,不是从图表出发:
- 如果问题是「尾部有没有变差」(结账变慢、大额订单变多),按天汇总但用 P90,不用均值;周均值恰好会抹平你要找的那些尖峰。
- 如果问题是「预算给哪个渠道」,就在设备内部比较,或者设备层和合计层两个数都报。把混合比例不同的分组合到一起,排名可能反转——见下一节。
- 如果问题是「什么时候发生的」,至少在故障窗口保留小时粒度;天粒度回答不了这个问题。
- 如果一份汇总引出「为什么」,你需要它背后的原始行。只要还可能要解释某个数字,就让原始数据保持可导出——明细删掉之后,再怎么重新聚合也找不回来。
一句话规则:问题允许多粗就汇总到多粗,别再粗了;存储比报表细一层,下钻才有余地。
聚合会藏住什么
辛普森悖论:合计排名反转
示例数据:两个渠道的会话与转化,按设备拆开。
| 渠道 | 桌面端 | 移动端 | 合计 |
|---|---|---|---|
| A | 18/20 = 90% | 60/100 = 60% | 78/120 = 65% |
| B | 80/100 = 80% | 10/20 = 50% | 90/120 = 75% |
渠道 A 在桌面端转化更高(90% > 80%),在移动端也更高(60% > 50%),合计却输了(65% < 75%)。没有算错任何一个数:A 的流量集中在更难转化的移动端,合计转化率被拉向移动端较低的基准。这种反转就是辛普森悖论,斯坦福哲学百科的条目记录了它的结构和真实案例。实用规则:在混合比例可比的粒度里比较,或者两个层级都报。另见辛普森悖论。
NULL 改变分母
假设十笔订单里有两笔没记金额(NULL)。按 SQLite 的语义:count(*) = 10,count(amount) = 8,avg(amount) 用八笔已知金额的总和除以 8,不是除以 10。一份写着「10 笔订单,均值 $X」的报表,可能悄悄只平均了 8 笔。两个看板的笔数和均值对不上时,先查 NULL 的处理方式,再怀疑采集管道。
离群值主导均值
上面已经看到了:一行 $900 把均值从 28.33 拉到 115.5。求和与均值被离群值主导;中位数抗离群值,却看不见尾部。只要两者可能分叉,就把均值和中位数一起报;尾部本身是问题时再加 P90。两者差距突然拉大,是下钻原始行的信号——不是挑一个好看的数字。
汇总之后数据就匿名了吗?
不是——单靠汇总做不到。聚合去掉了行级细节,通常能降低再识别风险,这也是统计机构发布表格而不是原始记录的原因。但 NIST SP 800-188(《政府数据集去标识化》,2023 年)在 §4.3.8 明确指出:聚合本身不构成正式的隐私保证。
报告里的例子:某学校发布按年级汇总的阅读成绩表;一名学生转学进来;学校再次发布这张表。把前后两次发布相减,就能推断出这名转学生的阅读水平——一个只有一个人的分组,从两份「匿名」汇总里被还原出来。由此有两类结构性风险:
- 小格子。 只统计到 1–2 个人的格子,实际上就是关于这几个人的记录。统计机构会应用阈值规则(低于最小人数的格子做抑制),再配合集中度规则和模糊性规则,处理数值集中在少数受访者身上的情况。
- 多次发布的差分。 不同时间、不同粒度发布的内容有重叠的表格,可以相减还原出小群体——哪怕每一张表单独看都安全。
对外分享汇总前的实用规则:检查有没有小格子,检查接收方手里有哪些早期发布可以拿来做差分;把「已经汇总过了」当作风险的降低,而不是匿名化的保证。
在 TapCub 里怎么用汇总
把上面的算例放进 TapCub:还是那笔 $900 的批量订单,问题是「今天怎么报数才不会误导人,明细被删以后又怎么办?」
- 按问题选聚合方式。 在 全端分析 › 行为分析 › 自定义指标与 SQL,一条保存的指标是「事件 + 算法」或一个公式。对 purchase 事件,触发次数得 10,去重人数得 7,人均次数得 10 ÷ 7 ≈ 1.43 笔;对金额属性做聚合,求和 1,155、均值 115.5、中位数 29,另有高分位(P90)。每个买家的收入是公式
PROPSUM ÷ UNIQUES= 1,155 ÷ 7 = 165。同一个事件能生成好几个指标:放进看板之前,给每个指标起一个说明它回答什么问题的名字。 - 查数字背后的原始行。 报表里都是汇总。要找 14:00 那笔 $900 订单,在 全端分析 › 行为分析 › 行为分析 打开「SQL」页签,对
v_events视图写一条SELECT查那一天;结果最多返回 50,000 行。 - 挪预算之前先拆开合计。 在同一个分析器里,把转化指标先按渠道、再按设备拆分(最多三层),时间粒度选小时或天。这样就能重建上面的辛普森小表(A 合计 65% 对 B 75%,但每个设备内 A 都更高),也能看出 14:00 那一小时是不是异常。TapCub 不做 A/B 测试;这里的比较只是衡量,不做分流。
- 留住以后可能要解释的明细。 超过保留期的明细行会被删除。按天的汇总不含个人数据,不按这个期限删除,所以日粒度的趋势还在,背后的原始行却没了。以后可能需要原始行的话,在保留期结束前到 全端分析 › 数据管理 › 数据导出 建一个异步导出任务。TapCub 不是数据仓库,要把明细放进你自己的仓库,靠的就是导出。
这就是本文的判断规则落在产品里的样子:按要回答的问题汇总,同时留一条回到原始行的路。
资料来源
- PostgreSQL 全球开发组,聚合函数——count/sum/avg 语义;percentile_cont 与 percentile_disc 的区别。
- SQLite,内置聚合函数——count(*) 与 count(X);avg 按非 NULL 输入计算。
- NIST SP 800-188,《政府数据集去标识化》(2023 年 9 月),§4.3.8——聚合不构成正式的隐私保证。
- 斯坦福哲学百科,辛普森悖论。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
