统一数据,指来自几个来源的数据可以当成一份一致的数据来读:同一个人只出现一次,同一个字段在哪里都是同一个意思。常见的做法有四种:点对点连接、ETL 或 ELT、统一数据层和实时流。多数小团队应该先统一事件和身份。
读完你会知道
- 统一数据既需要共享的身份(一人一个 id),也需要共享的结构(字段名和单位一致)
- 工具之间直连的数量按 n × (n − 1) ÷ 2 增长:八个工具要 28 条连接,走一个共享层只需 8 条
- 合并名单不去重会高估受众:算例里朴素合计 10,000,去重后是 7,500
「统一数据」是什么意思
统一数据,指来自几个来源的数据可以当成一份一致的数据来读:同一个人只出现一次,同一个字段在哪里都是同一个意思。要做到这一点,两件事必须成立。身份: 不同系统里描述同一个人或同一个账户的记录被关联起来。结构: 字段的命名、类型和度量方式一致,这样一个系统里的「收入」才能和另一个系统里的「收入」相加。
Maurizio Lenzerini 在其理论综述里的经典表述是:用户查询的是一个全局模式,下面有一组数据源,还有一组映射,说明每个数据源的数据怎样对应到全局模式。下面每一种实际做法,都是在用不同方式建这些映射,并决定数据什么时候移动。想先看简短的词条,见 数据整合 和 统一数据模型。
本文讲的是怎样在几种做法之间选择,对象是数据散在几个工具里、想在一处读的团队。ETL 与 ELT 的细节另见 ETL 与 ELT 对比,管道本身见 数据管道。
四种做法对照
介绍数据整合的资料会列出很多技术;SAP 的概述列了七种,并指出多数组织不止用一种。就选型而言,四类就覆盖了中小团队真正会遇到的情形。
| 做法 | 怎么运作 | 适合什么时候 | 投入和成本 | 新鲜度 |
|---|---|---|---|---|
| 点对点 | 每一对工具直接相连(脚本、原生集成、手动导出) | 两三个工具、一两张报表 | 起步便宜,增长很快,每条连接各自会坏 | 取决于每条连接怎么做 |
| ETL / ELT | 从数据源抽取,分批复制到一个中央存储,在入库前(ETL)或入库后(ELT)转换 | 来源多、需要历史、有一个团队负责存储 | 一个存储、一个加载程序,以及维护转换逻辑的人 | 几小时到一天,取决于调度 |
| 统一数据层 | 各数据源映射到一个共享模型(事件加身份),要么写入一个存储,要么通过虚拟层原地查询 | 想让各工具共用一套用户定义和一套事件词汇 | 前期要做设计,之后维护成本低 | 取决于这一层;事件往往接近实时 |
| 实时流 | 事件一发生就被捕获,并持续流向使用的地方 | 告警、个性化或实时看板需要几秒内拿到数据 | 最高:需要处理顺序、回放和故障的工程投入 | 几秒 |
AWS 把 ETL 定义为:用业务规则清洗、整理之后,把多个来源的数据汇到一个中央数据仓库。Apache Kafka 把事件流描述为:实时地从事件源捕获数据,保留下来供之后使用,或转发到需要的地方。上表的新鲜度是典型范围,不是实测值。
为什么工具一多,点对点就撑不住
点对点看起来开销最小,因为头一条连接确实不贵。成本在于连接数增长得有多快。让 n 个工具两两直连,需要 n × (n − 1) ÷ 2 条连接;而让它们都走一个共享层,只需要 n 条。
| 工具数 | 直连数(n × (n − 1) ÷ 2) | 走一个共享层(n) |
|---|---|---|
| 3 | 3 | 3 |
| 5 | 10 | 5 |
| 8 | 28 | 8 |
| 12 | 66 | 12 |
三个工具时没有区别,所以点对点是合理的起点。到了八个工具,你要维护 28 条连接,每条有自己的字段映射,一个工具的改动可能弄坏好几条。临界点不是固定数字,但如果你能说出四五个以上的数据源,共享层就开始值回成本了。
选做法的五个问题
按顺序对自己的情况回答这几个问题。每个问题旁边的规则告诉你它意味着什么。
| 问题 | 规则 |
|---|---|
| 数字要多新? | 一天前的数字也行,分批就够。如果有人几分钟内就要据此行动(告警、客服问候语),就需要事件持续流动。 |
| 数据量多大,历史多长? | 大数据量加多年历史,适合分批加载的中央存储。小数据量很少值得建一个。 |
| 有几个来源,还会增加吗? | 三四个稳定来源,直连也能撑住。超过这个数,或清单还在增长,倾向共享模型。 |
| 谁来维护? | 没人值守的管道会悄悄变旧。没人负责的话,就选活动部件最少的做法。 |
| 某个数据源悄悄断了会怎样? | 如果错的数字会到达客户或影响预算决定,在加下一个数据源之前,先加上每个来源的计数检查。 |
对多数小团队来说,答案指向同一个方向:几个来源、按天的新鲜度、没有专职管道的人。这时最值得优先投入的不是管道,而是对事件的统一定义,和对人的统一身份,在数据被收集的地方就用上。这样以后搬进数据仓库会容易得多,在那之前,它已经让你能读到同一套数字。
| 做法 | 适合什么时候 | 新鲜度 |
|---|---|---|
| 点对点 | 两三个工具、一两张报表 | 取决于每条连接怎么做 |
| ETL / ELT | 来源多、需要历史、有一个团队负责存储 | 几小时到一天 |
| 统一数据层 | 各工具共用一套用户定义和一套事件词汇 | 取决于这一层;事件往往接近实时 |
| 实时流 | 告警或实时看板需要几秒内拿到数据 | 几秒 |
新鲜度是典型范围,不是实测值;多数组织不止用一种做法。
最小可用的统一模型
起步不需要庞大的结构。每个来源的每条记录,都需要这几个字段:
| 字段 | 装什么 | 规则 |
|---|---|---|
| person_id | 记录属于谁 | 跨来源一人一个 id;同时保留原始来源 id |
| event_name | 发生了什么 | 取自统一清单的简短过去式名字,比如 order_completed |
| occurred_at | 什么时候发生 | 全部用同一个时区,以 UTC 存储 |
| source | 来自哪个系统 | 每个系统一个固定值,便于计数和追溯 |
| properties | 事件的细节 | 到处都用同样的名字和单位:amount 用同一种货币,plan 取自同一份清单 |
然后为每个共用字段再加一条规则:怎么写。邮箱统一小写并去掉空格,国家用同一份代码表,金额用同一种货币。多数「数字对不上」的争论,都来自跳过了这一步。按规范化后的键在来源之间匹配人,是问题的身份那一半;方法见 身份解析。
算例:合并三份用户名单
示例数据:一家公司有三个地方存着用户,每份都有邮箱。
- 网页应用:5,000 个用户
- CRM:3,200 个联系人
- 客服聊天:1,800 个人
有些人出现在不止一处:1,500 人同时在网页应用和 CRM,700 人同时在网页应用和聊天,600 人同时在 CRM 和聊天,300 人三处都有。
朴素的合计是 5,000 + 3,200 + 1,800 = 10,000,重叠的人被算了不止一次。去重后的数用容斥原理:把三份相加,减去每两份的重叠,再加回被多减了一次的三份共有的部分。
5,000 + 3,200 + 1,800 − 1,500 − 700 − 600 + 300 = 7,500 个不同的人。
朴素合计把受众高估了(10,000 − 7,500)÷ 7,500 = 33%。反过来说,朴素数字里有 25% 是重复。
按每个人出现的位置拆开,7,500 分成:
| 出现在 | 人数 |
|---|---|
| 只在网页应用 | 3,100 |
| 只在 CRM | 1,400 |
| 只在聊天 | 800 |
| 只在网页应用和 CRM | 1,200 |
| 只在网页应用和聊天 | 400 |
| 只在 CRM 和聊天 | 300 |
| 三处都有 | 300 |
| 合计 | 7,500 |
关键的陷阱在这里:匹配取决于规则。如果邮箱按输入原样比较,Ana@Example.com 和 ana@example.com 会被当成两个人。假设有 150 对重叠因此没匹配上,结果就会读成 7,500 + 150 = 7,650。「转小写并去空格」这一步没有成本,却能消除这个错误。可以用一个能直接验证的数字来核对结果:对每个来源,合并后的去重数至少不小于最大的那个单一来源(这里是 5,000),也永远不会大于朴素合计(10,000)。
三份名单里的用户:朴素合计与去重后
示例公司数据整合的常见误区
- 在统一定义之前就建管道。 数据移动得更快,只会把分歧传得更远。先统一什么叫活跃用户。
- 没有稳定的人员 id。 没有它,合并就退回到猜测,比如按姓名或 IP 地址,用户数会漂移。
- 把个人数据复制进每个工具。 每一份副本都需要自己的保护和删除处理。把个人字段留在需要的地方,只传 id。
- 同一个文件导入两次。 没有去重键,重复加载会让行数翻倍。记录加载了什么、什么时候加载的。
- 把一次性导入当成实时数据源。 三月导入的 CSV 不是一条连接。把导入的历史标注清楚,免得有人以为它会更新。
- 没有每个来源的计数检查。 悄悄断掉的表现是,连续几周数字略微偏低。每天对比每个来源的行数。
在 TapCub 里怎么统一事件和身份
拿算例里的三份名单,看 TapCub 怎么配合。TapCub 不是 ETL 工具,不会在你的系统之间复制数据表。它给你一个项目,你发送、导入或采集进来的数据共用一张事件表和一套身份模型,也就是上面的最小模型。
- 把所有数据收进一个项目。 在 全端分析 › 数据管理 › 数据源管理 里登记的数据源(网站、iOS、Android 和小程序 SDK 等)共用一套身份和同一张事件表。看每个数据源的「最近上报」时间,那就是你对每个来源的新鲜度检查。
- 从服务端发后端事件。 只有你的服务端知道的事件,比如支付系统确认的订单,通过服务端 HTTP 接口发送,密钥在 配置 › 设置 › API 密钥 里创建。见 发送服务端事件。
- 历史数据导入一次。 全端分析 › 数据管理 › 数据导入 接收事件 CSV、用户属性 CSV,或 Nginx、Apache 日志,每个文件最多 100,000 行。在向导里为每一列选择目标字段,查看前 20 行的预览,再执行。导入的事件平台标为
import,可以单独过滤掉。有两个限制和算例相关:同一个文件导两次会有两份数据;由日志文件产生的访客不会和 SDK 访客合并。 - 用登录 id 把人关联起来。
tapcub.login()把登录 id 绑到设备之后,这个人在 全端分析 › 用户 › 用户 里只出现一次,跨网站、App 和小程序。识别模式需要 Pro 及以上套餐,联系支持开启。在用户属性 CSV 里,邮箱和手机会先哈希再绑定。 - 看合并了多少。 全端分析 › 用户 › 身份映射 会在所选日期内比较访客、设备和用户三种计数,显示归一消掉了多少重复,对应算例里 10,000 对 7,500 的核对。
项目以外的东西,比如 CRM 名单,仍然留在 CRM 里。你可以用 CSV 导入它的属性,但 TapCub 不会替你保持同步。
常见问题
数据整合有哪些主要做法?
四种覆盖大多数情形:工具之间的点对点连接、分批的 ETL 或 ELT 进中央存储、建立在共享事件和身份模型上的统一数据层,以及事件的实时流。多数组织不止用一种,比如历史用分批、告警用流。
什么是统一数据?
统一数据,是来自多个来源、可以当作一份一致数据来读的数据:同一个人只出现一次,字段的名称、类型和单位一致。它既需要共享的身份,也需要共享的结构;光是把所有东西收到一处,还不够。
数据移动是什么意思?
数据移动,指把数据从一个系统复制或发送到另一个系统的任何过程:夜间导出、分批加载进数据仓库、持续的事件流,或一次性的文件导入。上面每种做法,都是这种移动在「何时、怎样」发生上的不同模式。
没有数据工程师,怎么整合不同来源的数据?
先统一一份事件清单和一个人员 id,再用能把数据收进共享模型的产品,历史数据用一次性导入。只有当数据量、历史或工具数量明确需要时,才加数据仓库或管道。
AI 会改变数据整合的方式吗?
AI 工具可以建议字段映射或发现重复,但它们仍然依赖同样的两个基础:稳定的身份和一致的定义。输入不一致,模型给出的答案也不一致,所以先把这两件事做好。
资料来源
这篇文章对你有帮助吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。

