一句话回答
实体解析是判断一份或多份数据里哪些记录描述的是同一个人、公司、商品或地址,再把它们关联或合并的过程。可以用精确规则、相似度打分或学习模型来做,也叫记录关联或数据去重。
公式: 字段权重:字段一致时为 log2(m ÷ u),不一致时为 log2((1 − m) ÷ (1 − u));把各字段权重相加,再和匹配、不匹配阈值比较。精确率 = 正确合并数 ÷ 全部合并数;召回率 = 正确合并数 ÷ 全部真实重复数。
什么是实体解析?
实体解析(Entity Resolution)是判断一份或多份数据里的哪些记录描述的是同一个现实对象(同一个人、公司、商品或地址),再把这些记录关联或合并成一条的过程。之所以需要它,是因为同一个对象很少两次长得一样:同一位客户在账单系统里是“Ada Lovelace”,在订阅名单里是“A. Lovelace”,在聊天记录里只剩一个邮箱。
这件事有好几个名字。数据库领域叫记录关联、去重或合并清除;Binette 和 Steorts 在综述开头就写道,要准确整合多个数据源,这件事“通常称为记录关联、去重或实体解析”。当对象是人的时候,营销和分析团队更常说身份解析。本页讲通用方法,身份解析那一页讲它在客户档案和跨设备追踪上的用法。
实体解析不等于实体链接(在自由文本里找出已知实体,比如一句话里的“Apple”指公司),也不等于命名实体识别(只给文本片段打上人名、地名的标签)。实体解析处理的是结构化记录,对每一对记录回答“是 / 不是 / 拿不准”。
实体解析流程的四个步骤
文献里的大多数流程,包括 Christophides 等人的端到端综述,都遵循同样几个阶段:
| 步骤 | 回答什么问题 | 常见做法 | 容易出的错 |
|---|---|---|---|
| 清洗与标准化 | 各个值的写法一致吗? | 邮箱转小写,电话去掉空格和短横线,“St.”展开成“Street” | 跳过这一步,后面每一步都会显得比实际更差 |
| 分块(Blocking) | 哪些记录对值得比较? | 按廉价的键分组,比如姓的前三个字母或邮箱域名 | 键太严会把真正的匹配拆开;太松则起不到省算力的作用 |
| 匹配 | 这两条记录是同一个对象吗? | 精确规则、相似度打分、加权概率或训练好的模型 | 阈值凭感觉定,没有样本核对 |
| 聚类与合并 | A 匹配 B、B 匹配 C,三条是同一个对象吗? | 求连通分量,再定合并后的记录取哪个值 | 一条错误的连线会把两个真人串成一个 |
之所以要分块,是因为把每条记录和其他所有记录比一遍,工作量随数据量的平方增长。一万条记录会产生 10,000 × 9,999 ÷ 2 = 49,995,000 对。如果用分块键把它们分成 500 块、每块 20 条,工作量是 500 × (20 × 19 ÷ 2) = 95,000 对,约为原来的 0.2%。代价是键不同的两条记录根本不会被比较,所以选的键要让真正的重复记录落在同一块。
确定性匹配与概率性匹配
匹配这一步争议最多。有两大类方法,很多生产系统两种都用。
| 确定性(规则式) | 概率性(打分式) | |
|---|---|---|
| 怎么判断 | 固定规则:“邮箱相同”或“邮箱和邮编都相同” | 把每个字段的证据加成一个分数,再套阈值 |
| 输出 | 匹配或不匹配 | 一个分数,通常中间留一段“待复核” |
| 优点 | 好解释、好审计、速度快,不需要训练数据 | 能处理错别字、缺字段和不完整的证据 |
| 缺点 | 键不同就漏掉真匹配;一个共用的键可能把两个人并在一起 | 需要估计匹配对和非匹配对里各字段一致的概率;更难解释 |
| 适用场景 | 有可信标识符,例如登录 ID | 自由文本的姓名和地址,多个来源之间没有共同键 |
经典的概率模型是 Fellegi 和 Sunter 在 1969 年提出的,Binette 和 Steorts 综述了它的现代后继者。每个字段贡献一个权重:字段一致时为 log2(m ÷ u),不一致时为 log2((1 − m) ÷ (1 − u))。其中 m 是记录属于同一对象时该字段一致的概率,u 是记录属于不同对象时该字段碰巧一致的概率。罕见的一致(比如邮箱完全相同)是强证据,常见的一致(比如名字相同)是弱证据。较新的系统用学习模型和向量取代手设权重,但结果仍是同样三种:匹配、不匹配、拿不准。
算例:五条记录、两种规则、一个分数
示例数据:一份小型客户名单。记录 A 是基准,B 到 E 是候选,要判断是不是同一个人。
| 记录 | 姓名 | 邮箱 | 电话 |
|---|---|---|---|
| A | Ada Lovelace | ada@mail.com | 555-0101 |
| B | A. Lovelace | ada@mail.com | 555-0150 |
| C | Ada Lovelace | alovelace@work.com | 555-0101 |
| D | Ada Lovell | ada.l@other.com | 555-0199 |
| E | Grace Hopper | grace@mail.com | 555-0123 |
假设各字段取值如下(示例值,不是实测):邮箱 m = 0.90、u = 0.0001;电话 m = 0.80、u = 0.001;姓名(清洗后,把“A. Lovelace”视为与“Ada Lovelace”接近)m = 0.85、u = 0.01。算出的权重是:
| 字段 | 一致时的权重 | 不一致时的权重 |
|---|---|---|
| 邮箱 | log2(0.90 ÷ 0.0001) = +13.1 | log2(0.10 ÷ 0.9999) = −3.3 |
| 电话 | log2(0.80 ÷ 0.001) = +9.6 | log2(0.20 ÷ 0.999) = −2.3 |
| 姓名 | log2(0.85 ÷ 0.01) = +6.4 | log2(0.15 ÷ 0.99) = −2.7 |
判定区间:分数 ≥ 10 算匹配,分数 ≤ 0 算不匹配,两者之间交给人复核。
| 记录对 | 邮箱 | 电话 | 姓名 | 分数 | 判定 | “邮箱相同”规则的结论 |
|---|---|---|---|---|---|---|
| A 和 B | 一致 | 不一致 | 一致 | 13.1 − 2.3 + 6.4 = 17.2 | 匹配 | 匹配 |
| A 和 C | 不一致 | 一致 | 一致 | −3.3 + 9.6 + 6.4 = 12.7 | 匹配 | 不匹配(漏掉) |
| A 和 D | 不一致 | 不一致 | 一致 | −3.3 − 2.3 + 6.4 = 0.8 | 待复核 | 不匹配 |
| A 和 E | 不一致 | 不一致 | 不一致 | −3.3 − 2.3 − 2.7 = −8.4 | 不匹配 | 不匹配 |
单键规则只找出两组真重复里的一组;打分的办法两组都找出了,并把含糊的 Lovelace / Lovell 这一对交给人,而不是瞎猜。代价是阈值:把匹配线从 10 提到 13,A 和 C 就会从自动匹配掉进待复核。阈值要靠人工标注一批样本、数错并和漏并的数量来定,不要凭感觉。
怎么衡量解析得好不好
在人工标注的样本对上算两个数,基本就够用:
- 精确率 = 正确合并数 ÷ 全部合并数。精确率低说明把不同的人粘在了一起,这是更严重的错误,因为会同时污染两份档案。
- 召回率 = 正确合并数 ÷ 全部真实重复数。召回率低说明重复记录还留着,“客户数”“用户数”这类统计就会虚高。
例如有 100 对人工确认的真重复,某条规则找出其中 60 对,同时错并了 5 对,则精确率 = 60 ÷ 65 = 92%,召回率 = 60 ÷ 100 = 60%。收紧规则会让两个数朝相反方向变化;有了待复核区间,就可以接受较低的自动召回率,同时不牺牲精确率。
常见误区
- 拿弱的共用键去合并。 家庭电话或共用的办公邮箱会把不同的人绑在一起。除非确认是个人专属的,否则把共用键当作证据,而不是证明。
- 传递性连锁。 A 匹配 B、B 匹配 C,聚类步骤可能把 A 和 C 也并在一起,尽管它们在所有字段上都不一致。检查簇的大小,一个有 40 个“人”的簇几乎一定是错的。
- 跳过待复核区间。 强行把每一对都判成匹配或不匹配,会掩盖那些由人来判断成本最低的情况。
- 合并后无法撤销。 保留原始记录和它们之间的关联,这样错并之后还能拆开,而不是直接覆盖来源数据。
- 和数据仓库里的表关联混为一谈。 按 ID 把两张表连起来不是实体解析,没有可靠的共同 ID 时才需要它。存放这类关联的结构见身份图谱,它们服务的目标见单一客户视图。
TapCub 里的实体解析:能做什么、不做什么
假设上面五条记录分别来自注册表单、聊天记录和购买日志。TapCub 覆盖的部分如下。
- 按登录 ID 做确定性绑定。 网站调用
tapcub.login('u_123')时,TapCub 把这个登录 ID 绑定到设备上。设备上的第一次登录会把用户写到当次会话,并回填这台设备更早的匿名事件,于是手机和电脑上的同一个人合成一个人。 - 审计合并结果。 打开 全端分析 › 用户 › 身份映射。页面显示人数、已绑定设备数,以及可以按绑定、解绑、拆分、拒绝、回填筛选的映射日志;差异卡片对比访客、设备和人的数量,能看出身份识别去掉了多少重复。
- 撤销错误的合并。 所有者和管理员可以把一台设备从某个人身上拆开,或解绑其他标识。拆分只会撤销那次会话的回填,已经带着人员 ID 的更早事件保持原样。
- 防范弱键。
guest、null、anonymous、全零和-1这类值会被拒绝当作登录 ID,一个人默认最多绑定 50 台设备。
TapCub 不做概率匹配或模糊匹配,也不清洗或合并你 CRM 和账单系统里的记录;匹配只来自你发送的登录 ID。识别模式需要 Pro 及以上套餐,控制台暂无开关,需要开启时请联系支持。如果要在多个系统之间按姓名和地址匹配,请在自己的数据流程里完成,再把得到的 ID 发给 TapCub。
资料来源
- Binette, O. 和 Steorts, R. C.,(Almost) All of Entity Resolution,arXiv:2008.04443,2020 年(2022 年修订)。
- Christophides, V. 等,End-to-End Entity Resolution for Big Data: A Survey,arXiv:1905.06397,2019 年(2020 年修订)。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
