一句话回答
数据孤岛是由某个团队、工具或系统掌握、组织里其他人很难拿到的数据。常见结果是一个人被当成好几个人,因为网站、App、客服和账务系统里的记录之间没有共同的键。
公式: 不同的人数 = A 系统人数 + B 系统人数 − 同时在两边的人数
什么是数据孤岛?
数据孤岛(data silo)是指由某个团队、工具或系统掌握、组织里其他人很难拿到的一块数据。IBM 把数据孤岛描述为互相隔离的数据,阻碍部门、软件系统和业务单元之间共享。网站统计里有一份访客名单,App 工具里有另一份,客服系统有第三份,账务系统有第四份。每一份按自己的口径都没错,但彼此对不上。
实际的症状是:同一个人被当成好几个人。一位客户在笔记本上浏览、在手机上打开 App、找客服聊天、再刷卡付款,就在四个系统里留下四条记录,没有共同的键说明他们是同一个人。每个看板都显得对,合计却永远对不上,没有人能回答「这位客户到底做过什么?」本页接下来讲怎么发现、怎么衡量,以及怎么开始修。
数据孤岛不等于难用的数据仓库,也不等于解决办法。把所有数据合并进一个仓库,只是消除孤岛的方法之一。相关概念另有词条:客户单一视图是你想要的、针对一个人的结果;单一事实来源是约定每个事实以哪个系统为准的纪律。
数据孤岛是怎么产生的?
孤岛很少是设计出来的,而是慢慢累积的。IBM 列出的原因有组织结构、IT 复杂度、文化、资源有限、合规要求和业务增长。放到产品和营销场景里,原因是这样的:
| 原因 | 怎样形成孤岛 | 典型迹象 |
|---|---|---|
| 每个团队各买各的工具 | 市场、产品、客服、财务各选适合自己工作的工具 | 四个工具,四种「用户」定义 |
| 没有共同标识 | 各系统存的是邮箱、设备 ID、Cookie ID 或客户编号,从来不是同一个 | 合并两份导出要靠模糊匹配 |
| 平台不同 | 网站、iOS、Android、小程序的数据发往不同工具 | 移动端和网站的「用户」永远合不到一起 |
| 并购与增长 | 被收购的公司带来自己的数据库 | 同一个市场有两张客户表 |
| 地区或隐私规则 | 数据特意放在不同地区或不同系统 | 合理的隔离,仍需要跨区汇报的方案 |
| 靠表格当胶水 | 导出的文件在邮件里传来传去 | 只有一个人看得懂的「final_v7」文件 |
第四行之所以重要,是因为并非所有隔离都是错误。有些数据分开存放是有意为之。问题在于没人选择过的隔离,以及没人负责的连接。
数据孤岛有哪些表现,代价是什么?
IBM 给了一份简短的预警迹象清单,换成这周就能问的问题是:
- 两份报表对同一个指标给出不同的数字吗?(数字冲突)
- 回答一个问题要从三个工具导出再手工合并吗?(收集慢、靠手工)
- 同一场会议上,各团队报出的客户数不一样吗?(定义不一致)
- 客服能看到客户来写信之前做过什么吗?(客户视图碎片化)
代价随之而来。分析师把时间花在对账而不是分析上;决策依据的是片面或相互冲突的视图;营销给一位已经当了两年客户的人发「欢迎」消息。而当有人行使索取自己数据副本的权利时(欧盟 GDPR 第 15 条规定了这项权利),每个存有这些数据的系统都得查一遍,所以一个被遗忘的孤岛不只是不方便,还可能成为合规缺口。(本文不构成法律意见。)
算例:我们到底有多少人?
示例数据:某产品有网站、iOS 和 Android 应用,以及登录账户。四个月的数据:
| 系统 | 统计什么 | 数量 |
|---|---|---|
| 网站统计 | 登录过的浏览器访客 ID | 1,100 |
| App 统计 | 登录过的设备 ID | 900 |
| 两者相加 | 把看板加起来的「已识别客户」 | 2,000 |
现在用两边在登录后都知道的那个东西,也就是用户 ID,把它们连起来:
- 1,100 个登录过的浏览器 ID 属于 700 位不同的用户(平均每人约 1.57 个浏览器:1,100 ÷ 700)。
- 900 台登录过的设备属于 600 位不同的用户(平均每人 1.5 台:900 ÷ 600)。
- 其中 400 位同时出现在网站和 App。
- 不同的已识别用户:700 + 600 − 400 = 900。
复算方法:两个集合的并集等于第一个加第二个,再减去重叠部分。朴素的合计 2,000 把真实人数高估了 2,000 ÷ 900 = 2.22 倍。凡是按这个朴素数字算的「每位客户」指标,比如人均收入、人均转化,都会按同样的倍数被低估。另外,700 位网站用户里有 300 位(700 − 400)完全没出现在 App 数据里,600 位 App 用户里有 200 位(600 − 400)没出现在网站数据里。这些缺口在数据连起来之前是看不见的。
一个老实的限制:这只能修好登录过的人。从没表明身份的访客仍是匿名的,笔记本上的匿名浏览器没法和同一个人的手机连起来。连接能缩小问题,但不能消灭它。
怎么把孤岛连起来?
三步,按这个顺序。在第 1 步之前先买平台,只会造出一个更大的孤岛。
- 选定连接用的键并写下来。 通常是人注册或登录时发放的稳定的内部用户 ID,而不是可能变化的邮箱。决定由谁发放,以及每个系统都要带上它。对原始个人数据要谨慎,往统计里放邮箱或手机号之前先看个人身份信息。
- 让每个系统都带上这个键。 对每个工具,记录在哪个事件或字段上附加 ID,通常在登录时。写进埋点方案,新工具就不会再造一个孤岛。登录时设置的用户 ID是底线;有了它之后,把属于同一个人的记录合并的过程叫身份识别。
- 把数据汇到一起,并约定怎么算。 要么把各平台的事件发进同一个统计项目(在采集时完成连接),要么装进数据仓库或客户数据平台。然后给「活跃用户」「客户」「转化」各写一条统一的定义,并在每一条旁边写上负责人。
用和算例一样的方法检查结果:各系统的并集是否等于合计减去重叠?如果去重后的用户数还是接近合计,说明连接没起作用。
常见误区有哪些?
- 把工具当解决办法。 没有共同 ID、也没有负责人的新平台,只是多一个孤岛。
- 只用邮箱连接。 人们会换邮箱、共用邮箱,或在不同系统里用不同的邮箱。优先用内部 ID,邮箱做次要的键。
- 忽略匿名流量。 连起来的登录用户只是一部分。登录和匿名分开汇报,不要假装所有人都已识别。
- 合并记录却无法撤销。 错误的合并会把两个真人并成一个。要留合并日志,并让合并可以撤销。
- 修了数据,没修定义。 如果两个团队对「活跃」的定义仍不同,连起来的数据照样对不上。
- 拆掉有意的隔离。 地区或隐私要求的隔离可能是必需的。要设计合规的跨区汇报办法,而不是拆墙。
TapCub 里的数据孤岛
TapCub 对网站与 App 分家的做法,是从一开始就把这些平台放在同一个项目里,并给登录用户一份档案。它不会自己去拉你的 CRM、账务或客服系统里的数据。
- 一段代码,一个项目。 网站脚本,iOS、Android、Flutter、React Native 和鸿蒙 SDK,以及小程序 SDK,都把事件发进同一个项目,用同一套事件和用户模型。所以网站和 App 的数据不是日后才要连接的两个孤岛。
- 带上登录 ID。 用户登录后调用
tapcub.login('u_123', {...})。这个人就会出现在全端分析 › 用户 › 用户里,有一条行为时间线,同一台设备上更早的匿名事件也会补上。这需要识别模式:要 Pro 及以上套餐,控制台暂无开关,需联系支持开启;匿名访客始终没有档案。 - 检查合并了什么。 全端分析 › 用户 › 身份映射列出每一次绑定、拆分和被拒绝的 ID,并显示合并消掉了多少重复计数。这就是算例里 2.22 倍检查的实时版本。
- 规划事件。 在全端分析 › 数据管理 › 埋点方案里记录各平台发送哪些事件,新平台就会沿用同样的命名。
- 引入其他数据。 服务端 HTTP 接口可以从后端系统发事件,数据导入页接受 CSV 事件和用户属性。TapCub 不是 CRM,也不是客户数据平台,不会自动与它们同步。
资料来源
- IBM,What are data silos?(定义、成因、预警迹象)。
- 欧盟条例 2016/679(GDPR),第 15 条:数据主体的访问权。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
