TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

统一数据:数据整合的四种做法与怎么选

统一数据,指来自多个来源的数据可以当作一份一致的数据来读。四种整合做法对照、选型的五个问题,以及一个合并三份用户名单的算例。

苏禾 发布于 2026 年 11 月 18 日 10 分钟阅读 数据分析
示例数据:三份名单分别有 5,000、3,200 和 1,800 人,两两重叠 1,500、700、600 人,三处都有的是 300 人。朴素合计高估了受众 33%;150 个邮箱没匹配上,会再多出 150。示例数据

统一数据,指来自几个来源的数据可以当成一份一致的数据来读:同一个人只出现一次,同一个字段在哪里都是同一个意思。常见的做法有四种:点对点连接、ETL 或 ELT、统一数据层和实时流。多数小团队应该先统一事件和身份。

读完你会知道

  • 统一数据既需要共享的身份(一人一个 id),也需要共享的结构(字段名和单位一致)
  • 工具之间直连的数量按 n × (n − 1) ÷ 2 增长:八个工具要 28 条连接,走一个共享层只需 8 条
  • 合并名单不去重会高估受众:算例里朴素合计 10,000,去重后是 7,500

「统一数据」是什么意思

统一数据,指来自几个来源的数据可以当成一份一致的数据来读:同一个人只出现一次,同一个字段在哪里都是同一个意思。要做到这一点,两件事必须成立。身份: 不同系统里描述同一个人或同一个账户的记录被关联起来。结构: 字段的命名、类型和度量方式一致,这样一个系统里的「收入」才能和另一个系统里的「收入」相加。

Maurizio Lenzerini 在其理论综述里的经典表述是:用户查询的是一个全局模式,下面有一组数据源,还有一组映射,说明每个数据源的数据怎样对应到全局模式。下面每一种实际做法,都是在用不同方式建这些映射,并决定数据什么时候移动。想先看简短的词条,见 数据整合 和 统一数据模型。

本文讲的是怎样在几种做法之间选择,对象是数据散在几个工具里、想在一处读的团队。ETL 与 ELT 的细节另见 ETL 与 ELT 对比,管道本身见 数据管道。

四种做法对照

介绍数据整合的资料会列出很多技术;SAP 的概述列了七种,并指出多数组织不止用一种。就选型而言,四类就覆盖了中小团队真正会遇到的情形。

做法怎么运作适合什么时候投入和成本新鲜度
点对点每一对工具直接相连(脚本、原生集成、手动导出)两三个工具、一两张报表起步便宜,增长很快,每条连接各自会坏取决于每条连接怎么做
ETL / ELT从数据源抽取,分批复制到一个中央存储,在入库前(ETL)或入库后(ELT)转换来源多、需要历史、有一个团队负责存储一个存储、一个加载程序,以及维护转换逻辑的人几小时到一天,取决于调度
统一数据层各数据源映射到一个共享模型(事件加身份),要么写入一个存储,要么通过虚拟层原地查询想让各工具共用一套用户定义和一套事件词汇前期要做设计,之后维护成本低取决于这一层;事件往往接近实时
实时流事件一发生就被捕获,并持续流向使用的地方告警、个性化或实时看板需要几秒内拿到数据最高:需要处理顺序、回放和故障的工程投入几秒

AWS 把 ETL 定义为:用业务规则清洗、整理之后,把多个来源的数据汇到一个中央数据仓库。Apache Kafka 把事件流描述为:实时地从事件源捕获数据,保留下来供之后使用,或转发到需要的地方。上表的新鲜度是典型范围,不是实测值。

为什么工具一多,点对点就撑不住

点对点看起来开销最小,因为头一条连接确实不贵。成本在于连接数增长得有多快。让 n 个工具两两直连,需要 n × (n − 1) ÷ 2 条连接;而让它们都走一个共享层,只需要 n 条。

工具数直连数(n × (n − 1) ÷ 2)走一个共享层(n)
333
5105
8288
126612

三个工具时没有区别,所以点对点是合理的起点。到了八个工具,你要维护 28 条连接,每条有自己的字段映射,一个工具的改动可能弄坏好几条。临界点不是固定数字,但如果你能说出四五个以上的数据源,共享层就开始值回成本了。

选做法的五个问题

按顺序对自己的情况回答这几个问题。每个问题旁边的规则告诉你它意味着什么。

问题规则
数字要多新?一天前的数字也行,分批就够。如果有人几分钟内就要据此行动(告警、客服问候语),就需要事件持续流动。
数据量多大,历史多长?大数据量加多年历史,适合分批加载的中央存储。小数据量很少值得建一个。
有几个来源,还会增加吗?三四个稳定来源,直连也能撑住。超过这个数,或清单还在增长,倾向共享模型。
谁来维护?没人值守的管道会悄悄变旧。没人负责的话,就选活动部件最少的做法。
某个数据源悄悄断了会怎样?如果错的数字会到达客户或影响预算决定,在加下一个数据源之前,先加上每个来源的计数检查。

对多数小团队来说,答案指向同一个方向:几个来源、按天的新鲜度、没有专职管道的人。这时最值得优先投入的不是管道,而是对事件的统一定义,和对人的统一身份,在数据被收集的地方就用上。这样以后搬进数据仓库会容易得多,在那之前,它已经让你能读到同一套数字。

做法适合什么时候新鲜度
点对点两三个工具、一两张报表取决于每条连接怎么做
ETL / ELT来源多、需要历史、有一个团队负责存储几小时到一天
统一数据层各工具共用一套用户定义和一套事件词汇取决于这一层;事件往往接近实时
实时流告警或实时看板需要几秒内拿到数据几秒

新鲜度是典型范围,不是实测值;多数组织不止用一种做法。

最小可用的统一模型

起步不需要庞大的结构。每个来源的每条记录,都需要这几个字段:

字段装什么规则
person_id记录属于谁跨来源一人一个 id;同时保留原始来源 id
event_name发生了什么取自统一清单的简短过去式名字,比如 order_completed
occurred_at什么时候发生全部用同一个时区,以 UTC 存储
source来自哪个系统每个系统一个固定值,便于计数和追溯
properties事件的细节到处都用同样的名字和单位:amount 用同一种货币,plan 取自同一份清单

然后为每个共用字段再加一条规则:怎么写。邮箱统一小写并去掉空格,国家用同一份代码表,金额用同一种货币。多数「数字对不上」的争论,都来自跳过了这一步。按规范化后的键在来源之间匹配人,是问题的身份那一半;方法见 身份解析。

算例:合并三份用户名单

示例数据:一家公司有三个地方存着用户,每份都有邮箱。

  • 网页应用:5,000 个用户
  • CRM:3,200 个联系人
  • 客服聊天:1,800 个人

有些人出现在不止一处:1,500 人同时在网页应用和 CRM,700 人同时在网页应用和聊天,600 人同时在 CRM 和聊天,300 人三处都有。

朴素的合计是 5,000 + 3,200 + 1,800 = 10,000,重叠的人被算了不止一次。去重后的数用容斥原理:把三份相加,减去每两份的重叠,再加回被多减了一次的三份共有的部分。

5,000 + 3,200 + 1,800 − 1,500 − 700 − 600 + 300 = 7,500 个不同的人。

朴素合计把受众高估了(10,000 − 7,500)÷ 7,500 = 33%。反过来说,朴素数字里有 25% 是重复。

按每个人出现的位置拆开,7,500 分成:

出现在人数
只在网页应用3,100
只在 CRM1,400
只在聊天800
只在网页应用和 CRM1,200
只在网页应用和聊天400
只在 CRM 和聊天300
三处都有300
合计7,500

关键的陷阱在这里:匹配取决于规则。如果邮箱按输入原样比较,Ana@Example.com 和 ana@example.com 会被当成两个人。假设有 150 对重叠因此没匹配上,结果就会读成 7,500 + 150 = 7,650。「转小写并去空格」这一步没有成本,却能消除这个错误。可以用一个能直接验证的数字来核对结果:对每个来源,合并后的去重数至少不小于最大的那个单一来源(这里是 5,000),也永远不会大于朴素合计(10,000)。

app.tapcub.com

三份名单里的用户:朴素合计与去重后

示例公司
三份名单朴素相加10,000
去重,邮箱按原样比较7,650
去重,邮箱规范化后7,500
最大的单份名单(网页应用)5,000
示例数据
示例数据:三份名单分别有 5,000、3,200 和 1,800 人,两两重叠 1,500、700、600 人,三处都有的是 300 人。朴素合计高估了受众 33%;150 个邮箱没匹配上,会再多出 150。

数据整合的常见误区

  • 在统一定义之前就建管道。 数据移动得更快,只会把分歧传得更远。先统一什么叫活跃用户。
  • 没有稳定的人员 id。 没有它,合并就退回到猜测,比如按姓名或 IP 地址,用户数会漂移。
  • 把个人数据复制进每个工具。 每一份副本都需要自己的保护和删除处理。把个人字段留在需要的地方,只传 id。
  • 同一个文件导入两次。 没有去重键,重复加载会让行数翻倍。记录加载了什么、什么时候加载的。
  • 把一次性导入当成实时数据源。 三月导入的 CSV 不是一条连接。把导入的历史标注清楚,免得有人以为它会更新。
  • 没有每个来源的计数检查。 悄悄断掉的表现是,连续几周数字略微偏低。每天对比每个来源的行数。

在 TapCub 里怎么统一事件和身份

拿算例里的三份名单,看 TapCub 怎么配合。TapCub 不是 ETL 工具,不会在你的系统之间复制数据表。它给你一个项目,你发送、导入或采集进来的数据共用一张事件表和一套身份模型,也就是上面的最小模型。

  1. 把所有数据收进一个项目。 在 全端分析 › 数据管理 › 数据源管理 里登记的数据源(网站、iOS、Android 和小程序 SDK 等)共用一套身份和同一张事件表。看每个数据源的「最近上报」时间,那就是你对每个来源的新鲜度检查。
  2. 从服务端发后端事件。 只有你的服务端知道的事件,比如支付系统确认的订单,通过服务端 HTTP 接口发送,密钥在 配置 › 设置 › API 密钥 里创建。见 发送服务端事件。
  3. 历史数据导入一次。 全端分析 › 数据管理 › 数据导入 接收事件 CSV、用户属性 CSV,或 Nginx、Apache 日志,每个文件最多 100,000 行。在向导里为每一列选择目标字段,查看前 20 行的预览,再执行。导入的事件平台标为 import,可以单独过滤掉。有两个限制和算例相关:同一个文件导两次会有两份数据;由日志文件产生的访客不会和 SDK 访客合并。
  4. 用登录 id 把人关联起来。 tapcub.login() 把登录 id 绑到设备之后,这个人在 全端分析 › 用户 › 用户 里只出现一次,跨网站、App 和小程序。识别模式需要 Pro 及以上套餐,联系支持开启。在用户属性 CSV 里,邮箱和手机会先哈希再绑定。
  5. 看合并了多少。 全端分析 › 用户 › 身份映射 会在所选日期内比较访客、设备和用户三种计数,显示归一消掉了多少重复,对应算例里 10,000 对 7,500 的核对。

项目以外的东西,比如 CRM 名单,仍然留在 CRM 里。你可以用 CSV 导入它的属性,但 TapCub 不会替你保持同步。

常见问题

数据整合有哪些主要做法?

四种覆盖大多数情形:工具之间的点对点连接、分批的 ETL 或 ELT 进中央存储、建立在共享事件和身份模型上的统一数据层,以及事件的实时流。多数组织不止用一种,比如历史用分批、告警用流。

什么是统一数据?

统一数据,是来自多个来源、可以当作一份一致数据来读的数据:同一个人只出现一次,字段的名称、类型和单位一致。它既需要共享的身份,也需要共享的结构;光是把所有东西收到一处,还不够。

数据移动是什么意思?

数据移动,指把数据从一个系统复制或发送到另一个系统的任何过程:夜间导出、分批加载进数据仓库、持续的事件流,或一次性的文件导入。上面每种做法,都是这种移动在「何时、怎样」发生上的不同模式。

没有数据工程师,怎么整合不同来源的数据?

先统一一份事件清单和一个人员 id,再用能把数据收进共享模型的产品,历史数据用一次性导入。只有当数据量、历史或工具数量明确需要时,才加数据仓库或管道。

AI 会改变数据整合的方式吗?

AI 工具可以建议字段映射或发现重复,但它们仍然依赖同样的两个基础:稳定的身份和一致的定义。输入不一致,模型给出的答案也不一致,所以先把这两件事做好。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

苏禾

数据分析师

围绕流量来源、转化漏斗与用户留存写作,重视指标口径和分析过程,用具体示例解释数字背后的问题。

一个项目、一张事件表、一套身份

从网站、App 和服务端采集,用 CSV 或日志导入历史,用登录 id 关联人,并核对归一消掉了多少重复。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie