一句话回答
数据补全用衍生、导入或第三方数据,给已有记录补上公司、行业、地区等字段。补进来的每个字段都是一个判断:存下来源、日期和置信度,衡量可用覆盖率而不是匹配率,并且只补你需要、又能说明理由的字段。
公式: 可用覆盖率 = 拥有正确值的记录数 ÷ 全部记录数
数据补全是什么
数据补全是用并非来自最初采集的数据,给你已有的记录补上字段。只有邮箱的联系人记录补上公司名;只有 IP 地址的访客补上国家;有一串事件的用户补上「套餐」或「最近一次购买」字段。记录变宽而不是变长:还是那些人,多了一些属性。微软为其客户数据产品写的文档也是这样看的:补全是填充并规范地址等字段,可以在多个来源的记录合并之前做,也可以在合并之后做。
补全要和周围的三个概念分开:
- 清洗修正错误的字段,补全添加缺失的字段。把地址格式规范化介于两者之间,通常先做。见 数据准备。
- 收集是直接问本人:表单里的一栏,或本人自己选的偏好。那是 零方数据。补全则是从别处拿到答案。
- 身份识别判断哪些记录属于同一个人。补全通常要先完成这一步匹配,因为字段只能补到正确的记录上。见 身份识别。
本页的核心观点:补进来的字段是一个判断,不是事实。它有来源、有日期,也有出错的可能,三样都应该一起存下来。而且只有在你确实需要、又能说明来源时才补。
三类补全及其区别
| 类别 | 新字段从哪里来 | 例子 | 新鲜度 | 主要风险 |
|---|---|---|---|---|
| 自有数据衍生 | 用你手里已有的事件和订单计算 | 「近 30 天活跃天数」「首次购买渠道」「套餐档位」 | 取决于上次刷新 | 规则漂移:定义改了,旧值还留着 |
| 从你自己的另一个系统导入 | 用 ID 匹配 CRM、计费或客服系统的导出 | 销售系统里的公司规模,计费系统里的订阅状态 | 取决于导出时间 | 匹配键对不上;对方系统本身错误或过期 |
| 第三方附加 | 外部服务商把你的记录匹配到它自己的库 | 职位、行业、家庭属性 | 除非服务商说明,否则不知道 | 错误匹配、来源不清、需要告知本人(见下文) |
衍生字段和导入字段通常是安全的起点:它们用的是你本来就有理由持有的数据,能向本人解释,定义也由你掌握。第三方附加则把另一个组织带进了这件事。第三方数据是什么、怎么来的,见 第三方数据。营销人员更愿意让平台自己收集数据、而不是依赖买来的数据,这同样的逻辑也是 客户数据平台 如此看重第一方记录的原因。
衡量任何一次补全的三个数字
一次补全会产生大量带新值的行,而每个人最先报的数字,匹配率,恰恰是最没用的那个。要跟踪三个:
- 匹配率 = 拿到值的记录数 ÷ 尝试补全的记录数
- 准确率 = 正确的值 ÷ 人工抽查样本里检查过的值
- 可用覆盖率 = 拥有正确值的记录数 ÷ 全部记录数
可用覆盖率才是告诉你能据此行动的数字,它总是低于匹配率。下一节会给出差多少。
算例:1,000 个联系人,70% 匹配率,34% 可用覆盖率
示例数据:一份 1,000 人的注册名单。其中 600 人用的是工作邮箱,所以你尝试从外部来源给这 600 人补「公司规模」。来源给其中 420 人返回了值。然后你对这 420 人里的 50 个,用公司自己的网站手工核对,41 个是对的。
| 步骤 | 计算 | 结果 |
|---|---|---|
| 尝试补全的记录 | 已知 | 600 |
| 匹配到的记录 | 已知 | 420 |
| 匹配率 | 420 ÷ 600 | 70.0% |
| 占全部 1,000 条记录的比例 | 420 ÷ 1,000 | 42.0% |
| 抽查的准确率 | 41 ÷ 50 | 82.0% |
| 估计正确的值 | 420 × 0.82 | 约 344 |
| 可用覆盖率 | 344 ÷ 1,000 | 约 34.4% |
所以「70% 已补全」的说法,实际是名单里 34.4% 拥有正确的值。由于抽查只有 50 条,82% 的范围很宽:95% 的 Wilson 区间是 69.2% 到 90.2%,对应正确的值在约 291 到 379 个之间,也就是名单的 29% 到 38%。诚实的说法是「大约 29% 到 38% 的记录有正确的公司规模」。
由此有两个决定。如果你打算按公司规模分配线索,填进去的值可能有四分之一或更多是错的,所以用这个字段来排优先级,不要用它把任何人排除在外。而且加大抽查样本,比再买更多数据更便宜地缩小这个范围。
存下来源、日期和置信度
每个补全字段都应该带着三项元数据,放在同一张表或旁边的表里:
- 来源:
derived、crm_export,或者服务商的名字。 - 日期:这个值写入或最近一次确认的时间。职位和公司规模几个月就会过时,不是几年。
- 置信度或方法:在已验证 ID 上的精确匹配,还是按名字的模糊匹配。模糊匹配永远不应该覆盖本人直接给你的字段。
一条简单的规则让数据保持诚实:本人给你的值,优先于任何你附加的值。 如果有人自己填了公司规模,它就取代附加的那个,附加的那个之后也不再写回。没有来源和日期两列,你就没法执行这条规则,没法让过期的值失效,也没法回答有人问「这个字段是从哪来的」。
隐私边界:只补需要的,并且告知本人
补全是分析数据悄悄变成用户画像的地方。三个问题能让它保持在合理范围内。以下是一般性信息,不是法律意见,具体情况请咨询专业人士。
- 你真的需要这个字段吗? 欧盟《通用数据保护条例》(GDPR)第 5 条第 1 款(c)项要求个人数据充分、相关,并限于实现目的所必需。一个「以后也许用得上」的字段,可能是你无法说明理由的字段。见 数据最小化。
- 新的用途和人们当初给你数据的目的相容吗? 第 5 条第 1 款(b)项要求数据为特定目的收集,且不得以与该目的不相容的方式进一步处理。订阅新闻邮件,显然不是补家庭属性的理由。
- 你告诉他们了吗? 当个人数据不是从本人那里获得时,第 14 条要求控制者提供包括数据来源在内的信息,在合理期限内,最迟在一个月之内。
各国规则和数据类型不同,但实际习惯到处一样:写下每个补全字段的用途,保持字段清单简短,用途结束就删字段。
常见误区
- 先补全、后匹配。 记录键不对,新字段就挂到了错误的人身上。先确认身份。
- 把匹配率当成质量。 70% 的匹配加上 82% 的准确率,可用的是 34%。三个数字都要报。
- 覆盖了本人告诉你的值。 附加的值只填空缺。
- 没有过期机制。 两年前附加的职位,对现在只是猜测。保留日期和复查周期。
- 什么都补。 为了完整而加字段,会提高风险和成本,却很少改变一个决定。先说出那个决定。
- 把联系方式放进事件属性。 邮箱和手机号属于用户档案,不属于每个事件的属性。
在 TapCub 里怎么补全用户和事件
以上面 1,000 个注册用户为例。在 TapCub 里你可以用自己的数据补字段,也能看到谁得到了这些字段。TapCub 不提供第三方数据补全:它既不购买也不附加外部数据,所以下面用的全是你已经持有的数据。
- 随事件或登录一起发送字段。 事件属性描述某一次发生了什么,比如某次注册时选的套餐。用户属性描述这个人,在你调用
tapcub.login、setProps或setPropsOnce时写入。setPropsOnce只在原来没有值时才写,正好符合「本人给的值优先于附加值」的规则。用户档案需要识别模式;匿名访客没有档案。 - 从你自己的 CRM 或计费系统导入一份 CSV 用户属性。 在 全端分析 › 数据管理 › 数据导入 选择 CSV 用户属性。每一行至少要有用户标识、邮箱或手机号之一,再加上你想补的属性。作为身份用的邮箱和手机号,在绑定前会先哈希。每个文件控制在 100,000 行以内,并在预览里映射列。
- 把一个计算变成标签。 在 全端分析 › 用户 › 分群与标签,「标签」页签把一个条件变成可复用的字段。标签可以在规则命中时写入固定值,可以取某个事件属性的首次或末次值,也可以记录一个人在窗口内最常触发的事件名。「重度用户」这类衍生字段就是这样得到统一的定义,到处使用。
- 查看档案和属性字典。 在 全端分析 › 用户 › 用户 里打开一个人,看每个属性当前的值。全端分析 › 数据管理 › 属性字典 把字段分成直接标识、间接标识和非个人三类,并默认在列表和导出中对直接标识脱敏。
- 事件属性里不要放联系方式。 默认情况下,TapCub 会把事件属性里像邮箱或电话的字符串改写成占位符,而不是原样存储,这也是把联系方式放在档案里的又一个理由。
资料来源
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
