TapCub 正式上线:统计、分析、客服一个平台免费用
术语表

什么是实体解析?方法、匹配规则与算例

实体解析判断哪些记录描述的是同一个人、公司或商品,再把它们关联或合并。本文讲流程步骤、规则与打分两类匹配方法,并用五条记录算一遍。

苏禾 审核人 伊森·布鲁克斯 又称 记录关联 最后更新 2026 年 11 月 19 日 术语表

一句话回答

实体解析是判断一份或多份数据里哪些记录描述的是同一个人、公司、商品或地址,再把它们关联或合并的过程。可以用精确规则、相似度打分或学习模型来做,也叫记录关联或数据去重。

公式: 字段权重:字段一致时为 log2(m ÷ u),不一致时为 log2((1 − m) ÷ (1 − u));把各字段权重相加,再和匹配、不匹配阈值比较。精确率 = 正确合并数 ÷ 全部合并数;召回率 = 正确合并数 ÷ 全部真实重复数。

什么是实体解析?

实体解析(Entity Resolution)是判断一份或多份数据里的哪些记录描述的是同一个现实对象(同一个人、公司、商品或地址),再把这些记录关联或合并成一条的过程。之所以需要它,是因为同一个对象很少两次长得一样:同一位客户在账单系统里是“Ada Lovelace”,在订阅名单里是“A. Lovelace”,在聊天记录里只剩一个邮箱。

这件事有好几个名字。数据库领域叫记录关联、去重或合并清除;Binette 和 Steorts 在综述开头就写道,要准确整合多个数据源,这件事“通常称为记录关联、去重或实体解析”。当对象是人的时候,营销和分析团队更常说身份解析。本页讲通用方法,身份解析那一页讲它在客户档案和跨设备追踪上的用法。

实体解析不等于实体链接(在自由文本里找出已知实体,比如一句话里的“Apple”指公司),也不等于命名实体识别(只给文本片段打上人名、地名的标签)。实体解析处理的是结构化记录,对每一对记录回答“是 / 不是 / 拿不准”。

实体解析流程的四个步骤

文献里的大多数流程,包括 Christophides 等人的端到端综述,都遵循同样几个阶段:

步骤回答什么问题常见做法容易出的错
清洗与标准化各个值的写法一致吗?邮箱转小写,电话去掉空格和短横线,“St.”展开成“Street”跳过这一步,后面每一步都会显得比实际更差
分块(Blocking)哪些记录对值得比较?按廉价的键分组,比如姓的前三个字母或邮箱域名键太严会把真正的匹配拆开;太松则起不到省算力的作用
匹配这两条记录是同一个对象吗?精确规则、相似度打分、加权概率或训练好的模型阈值凭感觉定,没有样本核对
聚类与合并A 匹配 B、B 匹配 C,三条是同一个对象吗?求连通分量,再定合并后的记录取哪个值一条错误的连线会把两个真人串成一个

之所以要分块,是因为把每条记录和其他所有记录比一遍,工作量随数据量的平方增长。一万条记录会产生 10,000 × 9,999 ÷ 2 = 49,995,000 对。如果用分块键把它们分成 500 块、每块 20 条,工作量是 500 × (20 × 19 ÷ 2) = 95,000 对,约为原来的 0.2%。代价是键不同的两条记录根本不会被比较,所以选的键要让真正的重复记录落在同一块。

确定性匹配与概率性匹配

匹配这一步争议最多。有两大类方法,很多生产系统两种都用。

确定性(规则式)概率性(打分式)
怎么判断固定规则:“邮箱相同”或“邮箱和邮编都相同”把每个字段的证据加成一个分数,再套阈值
输出匹配或不匹配一个分数,通常中间留一段“待复核”
优点好解释、好审计、速度快,不需要训练数据能处理错别字、缺字段和不完整的证据
缺点键不同就漏掉真匹配;一个共用的键可能把两个人并在一起需要估计匹配对和非匹配对里各字段一致的概率;更难解释
适用场景有可信标识符,例如登录 ID自由文本的姓名和地址,多个来源之间没有共同键

经典的概率模型是 Fellegi 和 Sunter 在 1969 年提出的,Binette 和 Steorts 综述了它的现代后继者。每个字段贡献一个权重:字段一致时为 log2(m ÷ u),不一致时为 log2((1 − m) ÷ (1 − u))。其中 m 是记录属于同一对象时该字段一致的概率,u 是记录属于不同对象时该字段碰巧一致的概率。罕见的一致(比如邮箱完全相同)是强证据,常见的一致(比如名字相同)是弱证据。较新的系统用学习模型和向量取代手设权重,但结果仍是同样三种:匹配、不匹配、拿不准。

算例:五条记录、两种规则、一个分数

示例数据:一份小型客户名单。记录 A 是基准,B 到 E 是候选,要判断是不是同一个人。

记录姓名邮箱电话
AAda Lovelaceada@mail.com555-0101
BA. Lovelaceada@mail.com555-0150
CAda Lovelacealovelace@work.com555-0101
DAda Lovellada.l@other.com555-0199
EGrace Hoppergrace@mail.com555-0123

假设各字段取值如下(示例值,不是实测):邮箱 m = 0.90、u = 0.0001;电话 m = 0.80、u = 0.001;姓名(清洗后,把“A. Lovelace”视为与“Ada Lovelace”接近)m = 0.85、u = 0.01。算出的权重是:

字段一致时的权重不一致时的权重
邮箱log2(0.90 ÷ 0.0001) = +13.1log2(0.10 ÷ 0.9999) = −3.3
电话log2(0.80 ÷ 0.001) = +9.6log2(0.20 ÷ 0.999) = −2.3
姓名log2(0.85 ÷ 0.01) = +6.4log2(0.15 ÷ 0.99) = −2.7

判定区间:分数 ≥ 10 算匹配,分数 ≤ 0 算不匹配,两者之间交给人复核。

记录对邮箱电话姓名分数判定“邮箱相同”规则的结论
A 和 B一致不一致一致13.1 − 2.3 + 6.4 = 17.2匹配匹配
A 和 C不一致一致一致−3.3 + 9.6 + 6.4 = 12.7匹配不匹配(漏掉)
A 和 D不一致不一致一致−3.3 − 2.3 + 6.4 = 0.8待复核不匹配
A 和 E不一致不一致不一致−3.3 − 2.3 − 2.7 = −8.4不匹配不匹配

单键规则只找出两组真重复里的一组;打分的办法两组都找出了,并把含糊的 Lovelace / Lovell 这一对交给人,而不是瞎猜。代价是阈值:把匹配线从 10 提到 13,A 和 C 就会从自动匹配掉进待复核。阈值要靠人工标注一批样本、数错并和漏并的数量来定,不要凭感觉。

怎么衡量解析得好不好

在人工标注的样本对上算两个数,基本就够用:

  • 精确率 = 正确合并数 ÷ 全部合并数。精确率低说明把不同的人粘在了一起,这是更严重的错误,因为会同时污染两份档案。
  • 召回率 = 正确合并数 ÷ 全部真实重复数。召回率低说明重复记录还留着,“客户数”“用户数”这类统计就会虚高。

例如有 100 对人工确认的真重复,某条规则找出其中 60 对,同时错并了 5 对,则精确率 = 60 ÷ 65 = 92%,召回率 = 60 ÷ 100 = 60%。收紧规则会让两个数朝相反方向变化;有了待复核区间,就可以接受较低的自动召回率,同时不牺牲精确率。

常见误区

  • 拿弱的共用键去合并。 家庭电话或共用的办公邮箱会把不同的人绑在一起。除非确认是个人专属的,否则把共用键当作证据,而不是证明。
  • 传递性连锁。 A 匹配 B、B 匹配 C,聚类步骤可能把 A 和 C 也并在一起,尽管它们在所有字段上都不一致。检查簇的大小,一个有 40 个“人”的簇几乎一定是错的。
  • 跳过待复核区间。 强行把每一对都判成匹配或不匹配,会掩盖那些由人来判断成本最低的情况。
  • 合并后无法撤销。 保留原始记录和它们之间的关联,这样错并之后还能拆开,而不是直接覆盖来源数据。
  • 和数据仓库里的表关联混为一谈。 按 ID 把两张表连起来不是实体解析,没有可靠的共同 ID 时才需要它。存放这类关联的结构见身份图谱,它们服务的目标见单一客户视图。

TapCub 里的实体解析:能做什么、不做什么

假设上面五条记录分别来自注册表单、聊天记录和购买日志。TapCub 覆盖的部分如下。

  1. 按登录 ID 做确定性绑定。 网站调用 tapcub.login('u_123') 时,TapCub 把这个登录 ID 绑定到设备上。设备上的第一次登录会把用户写到当次会话,并回填这台设备更早的匿名事件,于是手机和电脑上的同一个人合成一个人。
  2. 审计合并结果。 打开 全端分析 › 用户 › 身份映射。页面显示人数、已绑定设备数,以及可以按绑定、解绑、拆分、拒绝、回填筛选的映射日志;差异卡片对比访客、设备和人的数量,能看出身份识别去掉了多少重复。
  3. 撤销错误的合并。 所有者和管理员可以把一台设备从某个人身上拆开,或解绑其他标识。拆分只会撤销那次会话的回填,已经带着人员 ID 的更早事件保持原样。
  4. 防范弱键。 guest、null、anonymous、全零和 -1 这类值会被拒绝当作登录 ID,一个人默认最多绑定 50 台设备。

TapCub 不做概率匹配或模糊匹配,也不清洗或合并你 CRM 和账单系统里的记录;匹配只来自你发送的登录 ID。识别模式需要 Pro 及以上套餐,控制台暂无开关,需要开启时请联系支持。如果要在多个系统之间按姓名和地址匹配,请在自己的数据流程里完成,再把得到的 ID 发给 TapCub。

资料来源

这个解释清楚吗?

我们会根据反馈修改和补充这篇内容。

苏禾

数据分析师

围绕流量来源、转化漏斗与用户留存写作,重视指标口径和分析过程,用具体示例解释数字背后的问题。

常见问题

常见追问

大家看完定义后最常问的几个问题。

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

实体解析和记录关联是一回事吗?

做的是同一件事。记录关联是统计学和数据库里较早的叫法,实体解析是数据工程和机器学习里更常用的统称,去重则是只在一份数据内部做的特例。

实体解析和身份解析有什么区别?

身份解析是用在人身上的实体解析:把登录、设备和邮箱合成一份客户档案。实体解析还涵盖公司、商品和地址,这些场景里不涉及人。

实体解析里的分块是什么?

分块是按廉价的键(比如姓的前几个字母)给记录分组,只比较同一组里的记录。它把需要比较的对数从数据量的平方降到可以承受的规模,风险是落在不同组里的真匹配永远不会被比较。

TapCub 做实体解析吗?

只做确定性的那一种:通过 tapcub.login 发送的登录 ID,把设备和更早的匿名事件绑定到同一个人。TapCub 不做模糊或概率匹配,也不合并你 CRM 里的记录。

在你自己的网站上看这个数字

加一行脚本就能开始,网站和 App 都能接,几分钟内就能看到第一批报表。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie