一句话回答
数据发现,是在分析之前,先弄清你有什么数据、放在哪、质量怎样、谁能用。实际做起来是四步:盘点、分类、评估质量,并为每一项记下负责人和定义。
数据发现指什么
数据发现,是在动手分析之前,先弄清你有什么数据、放在哪、质量怎样、谁能用。IBM 把它描述为从多个、往往互不相通的来源中收集、评估和探索数据。做分析的第一步,常常根本不是分析,而是找到合适的数据,并判断能不能信它。
这个词被用来指两件不同的事,读别的文章时要分清:
- 盘点数据资产(本词条):清点数据集、事件流、数据表和文件,并记下每一份是什么。数据团队、隐私团队和新来的分析师说的就是这个。
- 可视化数据探索: 对手头已有的数据集,把字段拖进图表去找规律。一些 BI 工具用的也是这个名字。它在盘点之后才开始,替代不了盘点。
一个简单的判断:如果问题是「我们有哪些数据」,需要的是数据发现;如果问题是「这些数据说明了什么」,需要的是分析。跳过第一步的团队,会在第二步里争论到底谁的数字对。
数据发现、数据目录和数据治理有什么区别
三个词常被混用。它们描述的是三种不同的东西:一个动作、一份记录、一套规则。
| 术语 | 是什么 | 典型产出 | 回答的问题 |
|---|---|---|---|
| 数据发现 | 一项活动:找到并评估数据 | 一份清单,每项带一条质量说明 | 我们有什么数据,能信吗? |
| 数据目录 | 一份记录:把已发现的数据整理成可搜索的形式 | 带描述、负责人和标签的可搜索索引 | 它在哪,是什么意思? |
| 数据治理 | 规则和角色:谁能对数据做什么 | 政策、负责人、访问和保留规则 | 谁来决定,边界在哪? |
IBM 对顺序的描述可以当指南:先发现并剖析数据,再把它整理进目录。只有目录工具、没有持续的发现,目录会过时;只有发现、没有目录,每个新人都要重做一遍。数据字典 则更小一层:它只管一个数据集里各字段的定义。
数据发现的四个步骤
不管用什么工具,工作都归结为四步,每一步都有能拿给别人看的产出。
- 盘点。 列出所有产生或存放数据的地方:事件流、数据库、导出文件、表格、第三方工具。数清行数,记下最近一次更新。连那些麻烦的也要算上,比如从没进过任何系统的市场部表格。
- 分类。 说明每一项装的是什么类型的数据(行为、客户、财务、内容)以及敏感程度。起步时一个三分法就够了:直接标识一个人、与其他字段组合后可能识别某人、不是个人数据。
- 评估质量。 对重要字段检查几个可度量的指标。英国政府数据质量框架(沿用 DAMA UK)列了六个维度:完整性、唯一性、一致性、及时性、有效性和准确性。完整性(有这个字段的记录占比)和及时性(最新数据够不够新)最容易算,也能抓到大部分问题。
- 记下来。 为每一项写下负责人、一句话定义、多久刷新一次、谁能用。这是团队最容易跳过的一步,也正是它能让下一个人不必从零开始。如果还想追踪每个数据集从哪来,那是 数据血缘。
AWS 的分析指南把同样的意思描述成:早期与相关方多轮交流,弄清有哪些数据源、将来怎么用。这也是第 4 步需要每项旁边写上一个人名、而不只是一份扫描结果的原因。
一个算例:盘点表
示例数据:一家网店对六个数据源走完这四步。完整性是指带有该数据本该承载的字段的行占比。
| 数据集 | 位置 | 行数 | 负责人 | 必填字段有值 | 完整性 | 最近数据 | 结论 |
|---|---|---|---|---|---|---|---|
| checkout_completed | 事件流 | 4,820 | 增长研发 | order_id 有 4,675 条 | 4,675 ÷ 4,820 = 97.0% | 今天 | 可用 |
| signup_submitted | 事件流 | 2,310 | 增长研发 | plan 有 2,310 条 | 2,310 ÷ 2,310 = 100.0% | 今天 | 可用 |
| purchase(旧名) | 事件流 | 1,120 | 无 | amount 有 1,008 条 | 1,008 ÷ 1,120 = 90.0% | 11 个月前 | 停用,并入 checkout_completed |
| button_click | 全埋点 | 51,400 | 无 | label 有 38,550 条 | 38,550 ÷ 51,400 = 75.0% | 今天 | 起名或忽略 |
| crm_contacts | CRM 导出 | 8,900 | 销售运营 | country 有 8,010 条 | 8,010 ÷ 8,900 = 90.0% | 2 周前 | 先修再用 |
| newsletter_list.csv | 表格 | 12,600 | 无 | 有效邮箱 9,450 条 | 9,450 ÷ 12,600 = 75.0% | 5 个月前 | 先找负责人 |
结论规则写明白,才能重复使用:一项数据只有同时满足「有明确负责人、有写下来的定义、必填字段完整性不低于 95%、数据比预期刷新周期新」才算现在可用。这里六个数据源里有两个通过(2 ÷ 6 = 33%)。95% 是我们自己的经验值,你可以按「数字错了的代价」来定自己的线。
有两点值得注意。其一,不少问题出在归属,而不是质量:六个数据源里三个没有负责人,光扫描数据本身是看不出来的。其二,旧的 purchase 事件和 checkout_completed 描述的是同一件事,却有两个名字,这种重复只有盘点才能发现。
数据发现的常见误区
- 当成一次性项目。 每次发版都会冒出新事件,旧事件也会悄悄沉默。按计划重做盘点,比如每月一次,或每次大版本之后。
- 没盘点就先买目录工具。 工具只会给你看它扫得到的东西,某人笔记本里的表格依然缺着,所以要手工列上。
- 把扫描当成理解。 扫描器能找到一个叫
status的列,只有负责人才能说清 3 代表「已退款」。第 4 步就是为此而设。 - 只看数量,不看契合度。 「我们找到了 4,000 张表」说明不了其中有没有一张能回答你的问题。像示例那样,报告有多少个可用。
- 跳过敏感度。 第 2 步的分类,是让你能默认对标识做脱敏,并且以后能响应删除请求的前提。
- 只写文档、没有负责人。 没人维护的定义,一个季度之内就会出错。
在 TapCub 里怎么做数据发现
还拿示例里的网店来说:它已经埋点跑了一年,现在想问「我们有哪些事件,哪些靠得住?」TapCub 管的是流入 TapCub 项目的数据,不会去扫你的数据仓库、CRM 或表格;这些要像上面的表格那样手工盘点。
- 盘点事件。 全端分析 › 数据管理 › 事件与属性 列出每个事件触发了多少次、多少访客触发、占比以及 7 天趋势。按触发次数排序,就能看到大头和长尾。
- 清掉没名字的。 全端分析 › 数据管理 › 事件收件箱 会显示两类还没有定义的东西:代码用没人登记的名字发出来的事件(未规划),以及全埋点候选,比如
button_click那一行。逐个处理:起正式名字后接受、并入已有事件,或者忽略。接受候选会回溯最近 90 天。步骤见 处理未规划事件。 - 拿方案和实际对照。 全端分析 › 数据管理 › 埋点方案 记录你打算收集的事件,带负责人和状态。打开「实时验证(近 24 h)」,能看到每个事件的命中次数和必填属性的完整度,也就是流程第 3 步里的完整性检查。完整度低只是提醒,不会拦截事件。
- 给属性分类。 全端分析 › 数据管理 › 属性字典 会扫描用户、事件和账户属性,推断每个键的类型,并把它归为直接标识、间接标识或非个人。直接标识默认脱敏;你改了类型或分级并保存后,之后的扫描不会再覆盖。
- 核对数据源。 全端分析 › 数据管理 › 数据源管理 列出已登记的域名和应用,以及各自的最近上报时间,也就是第 3 步里的及时性检查。
TapCub 不会替你维护外部数据表的目录,也不会替你决定某个事件归谁。埋点方案里的负责人一栏,就是用来记这件事的地方。
资料来源
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
