一句话回答
数据统一是对来自多个系统、关于同一个人、账户或事物的记录做匹配、去重和对齐,使每个实体只出现一次,字段一致,并有一个稳定的标识,例如把网页、App 和客服的记录合成一份档案。
什么是数据统一?
数据统一(data unification)是把几个系统里关于同一批人、账户或事物的记录,整理成一份一致的数据:同一个实体只出现一次,字段经过对齐,并带有一个稳定的标识。同一个人的一次网页访问、一次 App 会话和一次客服聊天,会变成一份档案,而不是三行互不相干的数据。
它不只是搬运数据。一篇介绍 Data Tamer 系统的论文把数据整理(curation)描述为:发现数据源、清洗和转换新数据、与本地其他数据源整合,最后对合并的结果做去重。最后这一步正是数据统一增加的东西:数据复制过来之后,同一个人仍然在你的数据里出现三次,直到你把这些记录匹配起来。
数据统一分哪几步?
某厂商客户数据产品的文档(见资料来源)把统一描述为四步。名称是他们的,但这个顺序是通用的:
| 步骤 | 回答的问题 | 示例 |
|---|---|---|
| 1. 选择并映射源数据 | 哪些表描述这个实体,哪一列是邮箱、电话、姓名? | 把 mail、email_addr 和 e-mail 映射成同一个「邮箱」字段 |
| 2. 在单个数据源内去重 | 同一张表里是否有多行对应同一个人,哪一行最合适? | 同一个登录账号有两份网页档案:保留最新的 |
| 3. 跨数据源匹配 | 不同表里的哪些行是同一个实体? | App 用户 4127 和账单客户 88 共用同一个登录 ID |
| 4. 生成统一视图 | 哪些列保留、合并或丢弃? | 六个邮箱列合并成一个 |
同一份文档里还有两点在实践中很重要。其一,购买这类活动数据不放进档案,因为它和客户是一对多的关系。其二,统一后的档案会得到一个标识,它在两次运行之间保持不变,除非档案发生合并(两份变一份)或拆分(一份变两份),这时会记录一个「旧 ID」。两种情况都要预案,因为发生时所有按旧 ID 做的报表都会变。
一个用户的数据统一前后是什么样?
示例数据:一个叫 Ada 的人在网页、手机 App 和在线客服里使用同一个产品,并通过发票付款。
统一前:四条记录,四个标识
| 系统 | 标识 | 内容 |
|---|---|---|
| 网站统计 | 访客 ID 3FA2C1 | 来自一条邮件链接的 2 个会话,定价页看了 3 次 |
| 在线客服 | 同一个访客 ID 3FA2C1 | 一次关于年付账单的咨询 |
| 手机 App | 设备 ID d_41 | 打开 App 5 次,开始结账但没有完成 |
| 订单系统 | 登录 ID u_123 | 一笔已付款订单,240 美元 |
统一后:以 u_123 为键的一份档案
| 层 | 档案现在显示什么 |
|---|---|
| 身份 | 访客 3FA2C1 和设备 d_41 都绑定到 u_123 |
| 时间线 | 点邮件链接 → 看定价页 → 咨询账单 → App 里开始结账 → 下单 |
| 因此能回答 | 「她问过年付账单,在 App 里开始结账,最后在网页上付款」是一个完整的故事,而不是四个片段 |
聊天和网页本来就共用一个 ID,因为它们来自同一段脚本;App 设备和订单记录是在有共同的键(登录 ID)时才连上的。这是通用规则:统一的效果取决于各数据源共有的键。
对数字的影响同样具体。示例数据:1,000 个网页访客、400 台 App 设备和 150 个聊天访客。聊天访客是网页访客的子集。其中 180 台 App 设备的主人同时也在网页访客里,通过登录匹配。
- 把各系统的「用户数」直接相加:1,000 + 400 + 150 = 1,550。
- 统一之后:1,000 + 400 − 180 = 1,220 个不同的人,直接相加高估了 27.0%。
- 有 61 位买家时,转化率按直接相加是 61 ÷ 1,550 = 3.9%,按统一后的人数是 61 ÷ 1,220 = 5.0%。
业务没有变,变的是分母。
记录是怎么匹配的?
规则分两类,真实项目通常按顺序两类都用。
- 确定性匹配:用两个系统都有的稳定键来连接,比如登录 ID、哈希后的邮箱、订单号。简单、可解释,应该先试这种。
- 概率(模糊)匹配:对两条记录在多个字段(姓名、地址、设备信息)上的相似度打分,超过阈值就合并。它能找到没有共同键的关联,但有时会出错。
匹配规则要量化检验,而不是直接信任。示例数据:一条规则提议了 200 对「同一个人」,人工复核后发现 190 对正确、10 对错误,另外还发现规则漏掉了 30 对真实的匹配。
- 精确率 = 190 ÷ (190 + 10) = 95%,也就是 5% 的合并是错的。
- 召回率 = 190 ÷ (190 + 30) = 86.4%,也就是 13.6% 的真实匹配被漏掉了。
错误合并通常比漏掉合并更糟:它把两个人的历史混在一起,而且很难发现;漏掉匹配只是让一个人被拆成两个。拿不准时,把阈值设在让精确率保持较高的位置,较弱的规则只用于给人工确认的建议。
数据统一和数据集成有什么不同?
| 术语 | 做什么 | 产出 |
|---|---|---|
| 数据集成 | 把多个系统的数据搬到一起并合并 | 数据在同一处,但可能仍有重复 |
| 数据统一 | 对同一实体的记录做匹配、去重和对齐 | 每个实体一条记录、一个 ID |
| 单一客户视图 | 面向人的结果:每位客户一份档案 | 一份能读的档案 |
| 统一数据模型 | 各数据源共用的一套事件和实体结构 | 到处都是相同的事件名和字段 |
客户数据平台把统一和其他功能打包在一起。不管用什么工具,统一这一步回答的都是上面那四个问题。
数据统一容易在哪里出错?
- 错误合并:共用一台家用平板或办公电脑的两个人被合成一份档案。合并键优先用登录 ID,而不是设备 ID。
- 漏掉合并:从不登录的匿名访客无法关联到任何东西,有些标识还会过期。如果访客 ID 每天轮换,今天的浏览器和明天的浏览器就是两个访客。
- ID 变化:合并或拆分会改变统一后的 ID。保留旧 ID,历史数据才能接上。
- 没有同意:合并记录就是在处理个人数据。只连接你的隐私配置和本人同意所允许的内容,匿名的汇总数据保持匿名。
- 含义没对齐:匹配行不等于匹配字段:含税和不含税的「收入」、两个不同的时区,会生成一份错得很有信心的档案。
统一之前的检查清单
- 列出各数据源,以及每个数据源持有的标识(访客 ID、设备 ID、登录 ID、邮箱、订单号)。
- 选出最稳定的共有键,并写下备用键的顺序。
- 决定合并或拆分时怎么处理,包括怎样保留旧 ID。
- 在对所有人应用规则之前,先人工抽查 200 对建议匹配,算出精确率和召回率。
- 转化率和留存率的分母用统一后的人数,而不是各系统之和。
在 TapCub 里是怎么做到的?
以上面 Ada 的四条记录为例,看它们在 TapCub 里怎样连起来,以及限制在哪里。
- 网页和客服共用一个访客 ID。 它们来自同一段脚本,所以一个聊天会话进来时就带着访客的来源、当前页面和最近两天的浏览轨迹,一键就能打开统计里同一位访客的档案。项目里所有数据源(网站、App、小程序)共用一套身份模型和一张事件表。
- 登录后调用
tapcub.login(),传入你自己的用户 ID。设备第一次绑定登录 ID 时,那次会话和该设备此前的匿名事件都会拿到这个用户 ID;同一用户在 App 里用同一个 ID 接上。参见识别用户。 - 在「用户」里看结果。 登录后,这个人会出现在 全端分析 › 用户 › 用户。一个登录 ID 就是跨网页、App 和小程序的一个人,档案里是按天排列的时间线,已把绑定的设备合在一起。
- 订单由你的服务端发送,带同一个用户 ID,购买就会进入时间线。参见发送服务端事件。
限制就是上面说的那些。识别模式需要套餐包含该功能,控制台暂时没有开关(请联系支持开通),从不登录的访客只留在汇总数据里,没有个人档案。严格隐私档位下访客 ID 每天轮换,因此跨天没有统一的档案。参见识别用户与匿名用户。TapCub 不按姓名或地址匹配记录,它只用你发送的 ID 来连接。
资料来源
- Microsoft Learn,Data unification overview(四步流程,合并与拆分时客户 ID 的行为;页面日期 2026 年 11 月)。
- Stonebraker 等,Data Curation at Scale: The Data Tamer System,CIDR 2013(把整理定义为发现、清洗、整合和去重;在三个企业案例中整理成本降低约 90%)。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
