一句话回答
数据粒度指一份数据存到多细,即一行数据代表什么:一行一个事件(带时间戳、用户和属性)是细粒度,一行一天的合计是粗粒度。细数据随时能汇总成粗数据,粗数据永远拆不回细数据,所以粒度要在采集时就定好:采粗了补不回来,采细了要付存储和隐私的代价。
公式: 每月行数 = 每天事件数 × 天数(事件级),或每天桶数 × 天数(汇总);存储 ≈ 行数 × 每行字节数。示例:2,000 × 30 × 200 B ≈ 12 MB;24 × 30 × 120 B ≈ 86.4 KB;30 × 120 B ≈ 3.6 KB。
什么是数据粒度?
数据粒度指一份数据存到多细:一行数据代表什么。Kimball 团队把事实表的这个属性叫 grain(粒度):一份有约束力的契约,先声明粒度,再挑维度和度量。粒度是「一行一个注册事件」的表就是细粒度:每行带时间戳、用户和事件属性;粒度是「一行一天」的表就是粗粒度:某天发生 2,000 个事件,事件级表存 2,000 行,按天汇总的表只存 1 行。
这个取舍只有一个方向走得通:细数据随时能汇总成粗数据,粗数据永远拆不回细数据。所以粒度是采集时就要定的事,不是做报表时再想的事——采粗了,缺掉的明细补不回来;采细了,存储和隐私的代价要一直付。没存下来的行,就是你以后永远导不出的原始数据。
三个轴:时间、维度、身份
多数解释只讲到时间粒度,但一行的粒度其实由三个互相独立的轴共同决定。你可以保留按天合计(时间粗),却按 SKU 拆分(维度细);也可以保留每个事件(时间细),但只存匿名计数(身份粗)。
| 轴 | 粗 → 细 | 变细之后能多回答什么 |
|---|---|---|
| 时间 | 月 → 周 → 天 → 小时 → 事件时间戳 | 不只是「这周注册是不是掉了」,而是「哪个小时塌了」。Apache Druid 按 UTC 把时间戳分桶,粒度从秒到年;PostgreSQL 的 date_trunc('hour', …)、date_trunc('day', …) 在 SQL 里做的就是同样的细变粗截断。 |
| 维度 | 国家 → 城市 → 街道;品类 → SKU | 是哪个城市、哪个商品带来的变化,而不是全国或全品类的平均值。每采集一个事件属性,就多一个可以切分的维度。 |
| 身份 | 匿名合计 → 账户 → 用户 → 会话 → 事件 | 同一个人有没有回来、哪个账户流失了、报错前那次会话做了什么——这些在没有持久 ID 的匿名计数里全都留不下来。 |
别把粒度和基数混为一谈:粒度说的是一行代表什么,基数说的是一列有多少个不同取值。一张表可以一行一个事件(粒度细),而 country 列只有 3 个取值(基数低)。每个事件带哪些属性,由事件结构(event schema)来定义。
算例:同一份数据,两种结论
示例数据:某网站 14 天的会话和注册转化,按日型拆开。
| 分群 | 第 1 周 | 第 2 周 |
|---|---|---|
| 工作日 | 5 × 1,000 会话,每天 50 转化 → 250/5,000 = 5.0% | 5 × 1,000 会话,每天 55 → 275/5,000 = 5.5% |
| 周末 | 2 × 200 会话,每天 4 转化 → 8/400 = 2.0% | 2 × 1,000 会话,每天 22 → 44/2,000 = 2.2% |
| 全周合计 | 258/5,400 = 4.78% | 319/7,000 = 4.56% |
按周粒度看,转化率降了 0.22 个百分点:「漏斗变差了」。按天粒度、分日型看,两个分群都在涨(5.0% → 5.5%,2.0% → 2.2%)。变的是流量结构:周末会话占比从 400/5,400 = 7.4% 涨到 2,000/7,000 = 28.6%,这部分低转化流量把平均值稀释了。同样的行,相反的结论——按周汇总时把日型这个维度扔掉了,而分辨「产品问题」还是「流量结构变化」恰恰需要它。
再看一个排查问题:「第 3 天注册为什么掉了?」假设每天 2,000 个事件、共 30 天(示例数据)。三档存储粒度各能回答什么:
| 存储粒度 | 行数/月 | 能看到什么 | 看不到什么 |
|---|---|---|---|
| 按天合计 | 30 | 第 3 天注册 40,平常 60 | 哪个小时;哪一步;哪些用户 |
| 按小时汇总 | 24 × 30 = 720 | 塌方发生在 14:00–16:00 | 为什么:没有错误码,没有路径 |
| 事件级 | 2,000 × 30 = 60,000 | 带 error_code=502 属性的行;重建到出错步骤的会话路径 | 这个问题没有盲区 |
存储算术(示例行宽:事件行 200 字节,汇总行 120 字节):60,000 × 200 B ≈ 12 MB;720 × 120 B ≈ 86.4 KB;30 × 120 B ≈ 3.6 KB(每月)。事件级的行数是按天的 2,000 倍、按小时的约 83 倍。这个量级下总量不算贵——但要乘上你的真实流量,再乘上每加一个属性带来的行宽。
选粒度的判断规则
四条「如果……就……」规则:
- 建表、定埋点之前,先声明粒度。先写下「一行代表……」,维度和度量都从它推出。Kimball 把粒度当契约,因为下游的一切都建立在它之上。采集侧的这份声明,就写在埋点方案里。
- 问题还没想清楚,就采原子粒度。事件级的行能回答你还没想到的问题;任何汇总以后都能用
date_trunc+SUM算出来。预先汇总的表,等于提前押注了「哪些问题重要」——押错了没有退路。 - 问题固定且已知,粗粒度就够。一个每日 KPI 看板,不构成无限期保留每个事件的理由;按你真正会查的粒度去采集或保留。
- 把「粗」当作不可逆,并且一张表只放一种粒度。从按天的数据里补不出小时。而且按 Kimball 的规则,不同粒度要放进不同的物理表——别把事件行和按天合计混在一张表里,否则每条查询都得先加过滤条件防止重复计数。把细变粗的操作本身见数据汇总;本页讲的是最开始怎么选粒度。
存储、隐私和保留期
细粒度有三项代价:
- 存储和查询成本。按上面的算术,每天 2,000 个事件时,事件级每月约 12 MB,按天合计约 3.6 KB,随流量和行宽线性增长。到了数仓规模,存储布局也要算账:BigQuery 的时间单位列分区可选每小时、每天、每月、每年,分区粒度决定按日期过滤的查询要扫多少数据——也就是要花多少钱。
- 隐私暴露面。带持久用户 ID 和属性的事件行属于个人数据。GDPR 第 5(1)(c) 条要求个人数据「充分、相关且限于必要范围」(数据最小化),Recital 39 要求存储期限限于严格的最短时间。身份粒度留得越细,你需要给出的正当理由就越强。(这是工程视角的概述,不构成法律建议。)
- 保留期的不对称。一种常见做法——也是 TapCub 的行为——是超过保留期的原始明细被删除且无法恢复,而不含个人数据的匿名按天汇总不受保留期删除的影响。保留期实际上在随时间把你的历史「变粗」:上周的数据还能按事件级排查,去年的只剩按天合计。要在窗口关闭前安排导出;身份粒度在采集时怎么定,见采集档位。
常见误区
- 对率取简单平均,而不是加权。第 1 周日转化率的简单平均是 (5 × 5.0% + 2 × 2.0%)/7 = 4.14%,而真实周转化率是 258/5,400 = 4.78%。向上汇总时要用总量重算(转化数 ÷ 会话数),不能对「平均的平均」再平均。
- 「越细越好」。细带来的是更多选择权,代价是实打实的存储和隐私成本。采了没人查的明细,两项成本都是白付。
- 把粒度和基数混为一谈。加一个高基数列不会让粒度变细,一行一个事件也不代表每列都是高基数。它们是两个独立的属性,见基数。
- 项目中途换粒度。第 1 个月按会话存、第 2 个月按事件存,前后两期不可比,所有趋势图都会悄悄失真。一张表保持一种粒度,要换就显式地做版本切换。
在 TapCub 里看数据粒度
拿上面的算例来说:周报说转化率「变差了」(4.78% → 4.56%),你要判断这是产品问题,还是流量结构变了。在 TapCub 里,排查就是沿着粒度往下走;能走多深,在采集时、在保留期设置里就已经定了。
- 先换时间粒度,再下结论。 在 全端分析 › 行为分析 › 行为分析,分析器的时间粒度可以选自动、小时、天、周、月。把会话数和注册转化放在一张图上,从按周切到按天:第 2 周的两个周末日会话从 200 跳到 1,000,转化率在 2% 上下,这就是算例里的流量结构变化,不是漏斗坏了。
- 再往下到小时,到行。 粒度切到小时,就能找到排查算例里 14:00–16:00 的断崖。要看哪些事件带着
error_code=502,在同一个分析器打开「SQL」页签,查v_events视图在这个时间窗里的行;结果最多返回 50,000 行。 - 在保留期把历史变粗之前导出。 事件明细按项目的保留天数保存(初始为一年,受套餐上限约束),到期删除;按天的汇总不含个人数据,不按这个期限删除。上周的问题还能查到事件级,去年的就只剩按天汇总。以后可能要用原始行,就趁它们还在,到 全端分析 › 数据管理 › 数据导出 建一个异步导出任务。
- 身份粒度在采集时选。 配置 › 合规中心 设置采集档位:档位 1 是匿名聚合(按日换盐、不保留持久标识、全埋点和身份操作丢弃),档位 2 是默认的无 Cookie 假名,档位 3 在项目开了识别模式时才能用设备标识和登录。欧洲经济区和英国的访问没有统计用途的同意时降到档位 1,页面浏览和自定义事件照样入库。按档位 1 采集的访问,以后回答不了「是哪个用户做的」。
控制台里除了 SQL 和导出,没有逐行浏览原始数据的入口;没存过或已经删掉的行,TapCub 也补不回来。这就是核心观点落在产品里的样子:粒度在采集时就要定好,粗数据拆不回细数据。
资料来源
- Kimball Group,Grain(维度建模技术)。
- Apache Druid 文档,Query granularities。
- PostgreSQL 文档,日期/时间函数与运算符(
date_trunc)。 - Google Cloud 文档,BigQuery 分区表。
- EUR-Lex,欧盟条例 2016/679(GDPR)第 5(1)(c) 条与 Recital 39。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
