TapCub 正式上线:统计、分析、客服一个平台免费用
术语表

数据发现是什么:四个步骤、一个算例和常见误区

数据发现,是弄清你有什么数据、放在哪、质量怎样、谁能用。它和数据目录有什么区别、四个步骤,以及一份六个数据源的盘点算例。

伊森·布鲁克斯 审核人 苏禾 又称 数据发现流程 最后更新 2026 年 11 月 18 日 术语表

一句话回答

数据发现,是在分析之前,先弄清你有什么数据、放在哪、质量怎样、谁能用。实际做起来是四步:盘点、分类、评估质量,并为每一项记下负责人和定义。

数据发现指什么

数据发现,是在动手分析之前,先弄清你有什么数据、放在哪、质量怎样、谁能用。IBM 把它描述为从多个、往往互不相通的来源中收集、评估和探索数据。做分析的第一步,常常根本不是分析,而是找到合适的数据,并判断能不能信它。

这个词被用来指两件不同的事,读别的文章时要分清:

  • 盘点数据资产(本词条):清点数据集、事件流、数据表和文件,并记下每一份是什么。数据团队、隐私团队和新来的分析师说的就是这个。
  • 可视化数据探索: 对手头已有的数据集,把字段拖进图表去找规律。一些 BI 工具用的也是这个名字。它在盘点之后才开始,替代不了盘点。

一个简单的判断:如果问题是「我们有哪些数据」,需要的是数据发现;如果问题是「这些数据说明了什么」,需要的是分析。跳过第一步的团队,会在第二步里争论到底谁的数字对。

数据发现、数据目录和数据治理有什么区别

三个词常被混用。它们描述的是三种不同的东西:一个动作、一份记录、一套规则。

术语是什么典型产出回答的问题
数据发现一项活动:找到并评估数据一份清单,每项带一条质量说明我们有什么数据,能信吗?
数据目录一份记录:把已发现的数据整理成可搜索的形式带描述、负责人和标签的可搜索索引它在哪,是什么意思?
数据治理规则和角色:谁能对数据做什么政策、负责人、访问和保留规则谁来决定,边界在哪?

IBM 对顺序的描述可以当指南:先发现并剖析数据,再把它整理进目录。只有目录工具、没有持续的发现,目录会过时;只有发现、没有目录,每个新人都要重做一遍。数据字典 则更小一层:它只管一个数据集里各字段的定义。

数据发现的四个步骤

不管用什么工具,工作都归结为四步,每一步都有能拿给别人看的产出。

  1. 盘点。 列出所有产生或存放数据的地方:事件流、数据库、导出文件、表格、第三方工具。数清行数,记下最近一次更新。连那些麻烦的也要算上,比如从没进过任何系统的市场部表格。
  2. 分类。 说明每一项装的是什么类型的数据(行为、客户、财务、内容)以及敏感程度。起步时一个三分法就够了:直接标识一个人、与其他字段组合后可能识别某人、不是个人数据。
  3. 评估质量。 对重要字段检查几个可度量的指标。英国政府数据质量框架(沿用 DAMA UK)列了六个维度:完整性、唯一性、一致性、及时性、有效性和准确性。完整性(有这个字段的记录占比)和及时性(最新数据够不够新)最容易算,也能抓到大部分问题。
  4. 记下来。 为每一项写下负责人、一句话定义、多久刷新一次、谁能用。这是团队最容易跳过的一步,也正是它能让下一个人不必从零开始。如果还想追踪每个数据集从哪来,那是 数据血缘。

AWS 的分析指南把同样的意思描述成:早期与相关方多轮交流,弄清有哪些数据源、将来怎么用。这也是第 4 步需要每项旁边写上一个人名、而不只是一份扫描结果的原因。

一个算例:盘点表

示例数据:一家网店对六个数据源走完这四步。完整性是指带有该数据本该承载的字段的行占比。

数据集位置行数负责人必填字段有值完整性最近数据结论
checkout_completed事件流4,820增长研发order_id 有 4,675 条4,675 ÷ 4,820 = 97.0%今天可用
signup_submitted事件流2,310增长研发plan 有 2,310 条2,310 ÷ 2,310 = 100.0%今天可用
purchase(旧名)事件流1,120无amount 有 1,008 条1,008 ÷ 1,120 = 90.0%11 个月前停用,并入 checkout_completed
button_click全埋点51,400无label 有 38,550 条38,550 ÷ 51,400 = 75.0%今天起名或忽略
crm_contactsCRM 导出8,900销售运营country 有 8,010 条8,010 ÷ 8,900 = 90.0%2 周前先修再用
newsletter_list.csv表格12,600无有效邮箱 9,450 条9,450 ÷ 12,600 = 75.0%5 个月前先找负责人

结论规则写明白,才能重复使用:一项数据只有同时满足「有明确负责人、有写下来的定义、必填字段完整性不低于 95%、数据比预期刷新周期新」才算现在可用。这里六个数据源里有两个通过(2 ÷ 6 = 33%)。95% 是我们自己的经验值,你可以按「数字错了的代价」来定自己的线。

有两点值得注意。其一,不少问题出在归属,而不是质量:六个数据源里三个没有负责人,光扫描数据本身是看不出来的。其二,旧的 purchase 事件和 checkout_completed 描述的是同一件事,却有两个名字,这种重复只有盘点才能发现。

数据发现的常见误区

  • 当成一次性项目。 每次发版都会冒出新事件,旧事件也会悄悄沉默。按计划重做盘点,比如每月一次,或每次大版本之后。
  • 没盘点就先买目录工具。 工具只会给你看它扫得到的东西,某人笔记本里的表格依然缺着,所以要手工列上。
  • 把扫描当成理解。 扫描器能找到一个叫 status 的列,只有负责人才能说清 3 代表「已退款」。第 4 步就是为此而设。
  • 只看数量,不看契合度。 「我们找到了 4,000 张表」说明不了其中有没有一张能回答你的问题。像示例那样,报告有多少个可用。
  • 跳过敏感度。 第 2 步的分类,是让你能默认对标识做脱敏,并且以后能响应删除请求的前提。
  • 只写文档、没有负责人。 没人维护的定义,一个季度之内就会出错。

在 TapCub 里怎么做数据发现

还拿示例里的网店来说:它已经埋点跑了一年,现在想问「我们有哪些事件,哪些靠得住?」TapCub 管的是流入 TapCub 项目的数据,不会去扫你的数据仓库、CRM 或表格;这些要像上面的表格那样手工盘点。

  1. 盘点事件。 全端分析 › 数据管理 › 事件与属性 列出每个事件触发了多少次、多少访客触发、占比以及 7 天趋势。按触发次数排序,就能看到大头和长尾。
  2. 清掉没名字的。 全端分析 › 数据管理 › 事件收件箱 会显示两类还没有定义的东西:代码用没人登记的名字发出来的事件(未规划),以及全埋点候选,比如 button_click 那一行。逐个处理:起正式名字后接受、并入已有事件,或者忽略。接受候选会回溯最近 90 天。步骤见 处理未规划事件。
  3. 拿方案和实际对照。 全端分析 › 数据管理 › 埋点方案 记录你打算收集的事件,带负责人和状态。打开「实时验证(近 24 h)」,能看到每个事件的命中次数和必填属性的完整度,也就是流程第 3 步里的完整性检查。完整度低只是提醒,不会拦截事件。
  4. 给属性分类。 全端分析 › 数据管理 › 属性字典 会扫描用户、事件和账户属性,推断每个键的类型,并把它归为直接标识、间接标识或非个人。直接标识默认脱敏;你改了类型或分级并保存后,之后的扫描不会再覆盖。
  5. 核对数据源。 全端分析 › 数据管理 › 数据源管理 列出已登记的域名和应用,以及各自的最近上报时间,也就是第 3 步里的及时性检查。

TapCub 不会替你维护外部数据表的目录,也不会替你决定某个事件归谁。埋点方案里的负责人一栏,就是用来记这件事的地方。

资料来源

这个解释清楚吗?

我们会根据反馈修改和补充这篇内容。

伊森·布鲁克斯

解决方案工程师

围绕 SDK、接口集成与数据接入编写实践指南,关注实施验证、系统协作和技术排障。

常见问题

常见追问

大家看完定义后最常问的几个问题。

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

简单说,数据发现是什么?

数据发现就是给数据盘点:有什么、存在哪、每项是什么意思、完整到什么程度、归谁负责。它发生在分析之前,回答的是哪些数据能信、能用,而不是数据说明了什么。

数据发现和数据目录有什么区别?

发现是找到并评估数据的活动;目录是保存结果的可搜索记录。只有发现、没有目录,每个新人都要重做一遍;只有目录、没有持续发现,目录会过时。两者配合效果更好,先发现、后建目录。

数据发现的流程有哪几步?

四步覆盖大多数情形:盘点所有产生或存放数据的地方,按类型和敏感度给每一项分类,用完整性、及时性这类可度量的维度评估质量,再为每一项记下负责人、定义、刷新频率和访问权限。然后按计划重复。

多久做一次数据发现?

按你的数据变化速度来定,比如每月一次,或每次大版本之后。每次发版都会冒出新事件,旧事件也会沉默,所以一次性的盘点几个月后就过时了。

在你自己的网站上看这个数字

加一行脚本就能开始,网站和 App 都能接,几分钟内就能看到第一批报表。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie