一句话回答
数据集成是把不同来源系统的数据合并成统一、一致的形态,供分析和决策使用。做得好的数据集成让一个问题只有一个答案:各来源共用一套身份和事件模型,所有团队看到的都是同一个数。
什么是数据集成?
数据集成是把不同来源系统里的数据,合并成统一、一致的形态,供分析和决策使用的过程。IBM 的定义强调的是「协调一致」而不只是搬运:抽取和装载只是其中的步骤,字段映射、质量校验、让各来源持续保持同步,才是让结果真正可用的部分。
数据集成真正的收益是一个问题只有一个答案。问「我们有多少客户」,不管哪个团队打开哪个报表,得到的都应该是同一个数。要做到这一点,前提是各来源共用一套身份模型(同一个人在哪里都是同一个用户)和一套事件模型(同一个动作在哪里都叫同一个名字、含义一致),也就是统一数据模型。管道和工具排在这些定义之后,而不是之前。
数据集成的好处,以及它的代价
AWS 把问题归结为孤岛:每个团队用自己的工具收数据,数据碎片化带来取数难题——一份需要同时用到市场和财务数据的 BI 报表,在一个地方拿不齐两边的数。常被提到的那些好处(IBM、AWS、dbt Labs 都列过),本质上都来自消除这种碎片化。每项好处都有代价,所以诚实的账应该这样记:
| 好处 | 实际变化 | 代价 |
|---|---|---|
| 减少孤岛 | 跨系统的问题在一个地方就能回答(比如哪个广告渠道带来的客户后来在 App 里付费) | 每接一个新来源,都要维护一个连接器和一份字段映射 |
| 数据质量更好 | 重复、缺字段、编码冲突在映射和校验阶段暴露出来 | 清洗规则要有人负责,上线之后还得持续维护 |
| 洞察更快 | 不用每周手动导表、在电子表格里拼数据 | 前期要花时间把共享的事件和身份定义定下来 |
| 数字一致 | 「客户」在所有报表里是同一个意思 | 要就一个定义达成一致——往往是整个项目里最难开的一次会 |
| 跨端分析 | 网站、App、后台连起来看漏斗和留存,而不是各工具各看一片 | 身份拼接:匿名访客不一定能对上账号 |
| 治理只做一遍 | 保留期、访问权限、删除请求统一处理,不用每个工具各管一套 | 合并后的数据集比单个来源更敏感,合规要重新审一遍 |
判断规则:如果两个系统对你每周都要汇报的某个数字已经对不上,集成很快就能回本——省下来的对账工作就是回报。如果你所有的问题都在一个工具里就能回答,加管道只会增加维护负担。集成的回报是一个所有人引用的、统一治理的数字——这就是单一事实来源的实际含义。
集成数据的几种方式:ETL、ELT、API、反向 ETL 和事件流
「数据集成」是目标,下面这些是运输方式。dbt Labs 的对比文章点出了关键区别:ETL 是数据集成里的一种技术,不是数据集成的同义词。
| 方式 | 数据往哪走 | 典型新鲜度 | 谁来维护 | 适合什么情况 |
|---|---|---|---|---|
| ETL | 来源 → 转换引擎 → 数仓 | 批处理(小时级到天级) | 数据工程 | 数据入库前必须先过质量关卡 |
| ELT | 来源 → 数仓 → 在 SQL 里转换 | 批处理,随时可重新转换 | 分析工程 | 重活交给数仓来算(BigQuery 就是为这种免运维、大规模 SQL 的模式设计的) |
| API / 应用同步 | 应用 ↔ 应用,走 API | 每次调用近实时 | 集成/后端团队 | 两个业务系统必须一致(CRM ↔ 计费) |
| 反向 ETL | 数仓 → 业务工具(CRM、广告平台) | 批处理 | 数据工程 | 分析师做的分群要驱动其他工具里的动作 |
| 事件流 / CDC | 来源变更 → 流 → 消费方 | 秒级 | 平台团队 | 实时看板、风控、即时同步 |
ETL 先转换再装载,坏数据可以在门口被拦下;ELT 先把原始数据装进去,用数仓的算力做转换,改口径不用重新抽数。两者的成本和延迟取舍,我们在 ETL 与 ELT 对比里展开讲;这些环节怎么串成一个跑起来的系统,见数据管道。选型的判断规则:按你最慢的那个决策需要的新鲜度来选——每周一次的预算复盘,不需要一套流式平台。
两个系统对不上时:一个能复算的例子
示例数据。一个 B2B SaaS 团队打开两个看板:网站分析显示本月有 1,200 个「客户」(触发过 signup 事件的去重 ID);CRM 里本月新建了 800 个联系人。市场同学把两个数加起来放进汇报页:「2,000 个客户」。两个数在各自系统里都没错,错的是那个和。
第 1 步——分解差异。把两边的 ID 列表导出来,按邮箱做关联,核实有 350 人同时出现在两个系统里:
- 只在网站分析里:1,200 − 350 = 850
- 只在 CRM 里:800 − 350 = 450
- 验算差异:850 − 450 = 400 = 1,200 − 800 ✓
第 2 步——审计两个「只在」的桶。850 个只在网站里的注册中,230 个是机器人和测试账号,CRM 从来不会收,剩下 620 个是没进 CRM 的真人(销售没有导入)。450 个只在 CRM 里的联系人中,220 个来自电话销售、从没访问过网站,另外 230 个是重复或过期的测试记录,应当合并清理。
第 3 步——用容斥原理去重。真实去重客户数 = 网站真实数 + CRM 真实数 − 重合数 = (1,200 − 230) + (800 − 230) − 350 = 970 + 570 − 350 = 1,190。直接相加的 2,000 比真实值多了 2,000 − 1,190 = 810,即 810 ÷ 1,190 ≈ 68.1%。就算把每一行都当真人,光重合一项也会让总和虚高:1,200 + 800 − 350 = 1,650 个去重用户,对比相加的 2,000,虚增 350 ÷ 1,650 ≈ 21.2%。
第 4 步——修原因,不是修汇报页。350 人被重复计数,是因为两个系统没有共享的用户标识;460 条机器人/测试记录混进来,是因为「客户」从来没被定义过。给两个系统同一个用户 ID、同一份 signup 定义,下个月同一个问题就只有一个答案——1,190——一条查询就能得出,不用再开对账会。先买管道,只会把「对不上」自动化,而不是消除它。
常见误区
- 先买管道,后定口径。如果「活跃客户」在一个工具里指最近 30 天登录过、在另一个里指本月付过费,任何连接器都对不齐。先写清事件和身份定义;上面那个例子里没有共享标识,第 1 步就做不下去。
- 对行数,不对人。10,000 条事件不等于 10,000 个人。比较之前先按用户标识去重(例子里是 1,650,不是 2,000)。
- 把匿名访客当客户。登录之前没有可靠的跨系统标识,强行匹配会虚增重合数。匿名流量留在汇总报表里,身份只在登录时拼接。
- 忽略时区和统计窗口。按 UTC 零点和按本地零点切的「每日」数,可能差几百行,而数据一条没丢。先对齐窗口,再怪管道。
- 什么都集成。每接一个来源,映射和合规的面就大一圈。一份数据回答不了任何反复出现的问题,就让它留在原地。
在 TapCub 里把数据源收进一个项目
拿上面的算例来说:网站 1,200 个注册、CRM 800 个联系人、两边都有的 350 人,还有一张写着 2,000 的汇报幻灯片。在 TapCub 里,修复从第 4 步说的地方开始:先有一个用户键、一份定义,再谈往哪里接管道。
- 所有端都报进同一个项目。 网站脚本和 App、小程序 SDK 报进同一个项目(网站统计 › 配置 › SDK 代码),同一个项目里的数据源共用一套身份模型和一张事件表。只有后端知道的动作,比如电话成交,可以带写入权限的密钥走 HTTP 事件接口 上报,这样 220 个电话销售客户就成了服务端事件,而不是只在 CRM 里的一桶。
- 两个系统用同一个用户键。 打开识别模式(Pro 及以上套餐)后,用 CRM 里存的同一个用户 ID 调用
tapcub.login。一台设备第一次登录时,会把这台设备之前的匿名历史补到这个人身上;这个人出现在 全端分析 › 用户 › 用户,档案里有按天排列的行为时间线。要把 CRM 字段带到这些档案上,在 全端分析 › 数据管理 › 数据导入 导入按用户 ID 或邮箱对应的用户属性 CSV;邮箱先哈希再绑定。导入是一次性的文件,不是实时同步。 - 只留一份定义,把机器人挡在外面。
signup指什么、在哪些平台、必填哪些属性,写进 全端分析 › 数据管理 › 埋点方案。认出来的机器人在 网站统计 › 机器人 单独统计,所以 230 条垃圾注册里属于机器人的那部分,进不了真人访客数和转化率的分母。测试账号仍要你自己排除。 - 把仓库要的原始行导出去。 报表是汇总。要和账单数据关联,到 全端分析 › 数据管理 › 数据导出 建一个异步导出任务,把文件装进你自己的仓库。
边界说清楚:TapCub 不是 ETL 工具,不是数据仓库,也不是 CDP。它不替你跑转换,也不和 CRM 双向同步。它做的是让自己采集的数据共用一套身份和事件模型,这正是数据集成里让「我们有多少客户」得出 1,190、而不是 2,000 的那一部分。
出处
- IBM,What is data integration?——定义、流程步骤、类型与好处。2026-11-15 核对。
- AWS,What is Data Integration?——孤岛、重要性、合并/复制/虚拟化等方式。2026-11-15 核对。
- dbt Labs,ETL vs data integration——ETL 是集成中的一种技术;ELT。2026-11-15 核对。
- Google Cloud,BigQuery introduction——支撑 ELT 模式的免运维数仓算力。2026-11-15 核对。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
