一句话回答
数据目录是用元数据建起来的组织数据资产清单,对每份资产回答四个问题:有哪些数据、数据在哪里、谁负责、在某个用途下能不能信。
数据目录是什么?
数据目录(data catalog,也译作数据编目)是用元数据建起来的组织数据资产清单。IBM 的定义是「组织内数据资产的详细清单」,帮助用户发现、理解和访问数据;AWS 的说法是「组织收集和处理的全部数据的清单」。判断一个目录合不合格,就看它对任何一份资产能不能回答四个问题:
- 有哪些数据?要有名称和一句人话定义,不能只有一个表名。
- 数据在哪里?在哪个系统、哪个库或项目、哪张表或哪个事件里,怎么查。
- 谁负责?有一个具名的人或团队,对定义和背后的数据链路负责。
- 能不能信?新鲜度、质量检查、已知的坑,以及状态(在用、已废弃、还在开发)。
只能回答前两问的目录,是一份清单。第三、四问才让清单变成分析师真正会用的东西——下面的算例还会说明,正是这两问决定它会不会在一个季度内过时。
目录由元数据组装而成,通常分三类(AWS 就是这样分组的):技术元数据(表结构、字段、格式、存储位置)、业务元数据(定义、负责人、分级、业务背景)、操作元数据(更新任务、新鲜度、质量结果、使用情况)。现代目录会自动采集技术元数据——比如 AWS Glue Data Catalog 就是一个持久元数据存储,由爬虫往里填表定义——而负责人这类业务元数据,几乎总要靠人来录入和维护。
数据目录、数据字典、元数据管理怎么分
这几个词经常混用,厂商的说法也不统一。按各自回答的问题来区分:
| 概念 | 回答的问题 | 覆盖范围 | 典型内容 |
|---|---|---|---|
| 数据字典 | 这个数据集里每个字段是什么意思? | 单个数据集或数据库 | 字段名、类型、取值范围、单位、含义 |
| 数据目录 | 有哪些数据、在哪、谁负责、能不能信? | 组织内全部资产 | 清单 + 字典层 + 负责人、新鲜度、血缘、使用情况 |
| 元数据管理 | 元数据怎么采集、存储、保持更新? | 目录底下的机制 | 采集、存储、同步、接口 |
| 业务术语表 | 每个业务名词是什么意思? | 业务语言,不涉及存储 | 术语定义、同义词、关联指标 |
| 数据治理 | 谁有权对数据做什么决定、做什么操作? | 政策和角色 | 责权规则、访问政策、质量标准 |
有两组关系值得记住。字典是目录里面的一层:IBM 说得很直白——目录给的是全部资产的概览,字典「定义单个数据集的结构和内容」。另外,目录是治理的工具,不是治理本身:治理规定每份资产必须有负责人,目录是把这个负责人记下来、让人找得到的地方。
一条目录条目里有什么
下面是一条填完整的条目,用分析事件而不是仓库表来举例(示例数据):
| 字段 | 这条条目的值 |
|---|---|
| 资产名称 | signup_completed(事件) |
| 定义 | 用户完成注册、邮箱验证通过后触发一次。不含第三方登录自动建的账号。 |
| 在哪里 | 产品分析项目「主应用」;平台 web + iOS;在事件分析里查 |
| 负责人 | 增长团队——一位具名分析师对定义负责 |
| 属性 | method(字符串,必填:email / sso)、plan(字符串,选填) |
| 状态 | 在用;2026-11-01 核对过 |
| 新鲜度 / 质量 | 实时到达;每天检查必填属性完整度 |
| 已知的坑 | 2026-08 之前 iOS 在验证前就触发;历史计数约偏高 4% |
| 关联资产 | 供激活漏斗使用;是「新增账号」指标的上游 |
注意每个字段的作用:定义防止两个团队各数各的;负责人让你知道去问谁;状态和核对日期告诉你这条条目本身还新不新鲜;「已知的坑」帮分析师避开一次错误的历史对比。血缘——也就是「关联资产」那一行——是另一门专门的功课,见数据血缘。属性行该怎么结构化,见事件 Schema。
算例:三个团队,三种 signup 定义
示例数据。某公司 10 月有 50,000 名访客。三个团队各自统计「注册数」,谁都没把定义写下来:
- 市场团队数表单提交:1,050。
- 产品团队数验证通过的账号:1,050 − 170 个未验证 = 880。
- 财务团队数付费账号:880 − 640 个免费 = 240。
市场和产品的看板上都有一个「访客 → 注册」漏斗:
| 团队 | 分子 | 漏斗转化率 |
|---|---|---|
| 市场 | 1,050 次表单提交 | 1,050 ÷ 50,000 = 2.10% |
| 产品 | 880 个验证账号 | 880 ÷ 50,000 = 1.76% |
同一个月、同一批访客,差了 0.34 个百分点——相对差异 19%(0.34 ÷ 1.76),每次开会都会被归咎于「埋点有 bug」。其实什么都没坏,只是「注册」这个词指了三样不同的东西。
解法是建一条目录条目,不是重做数据链路:signup_completed = 验证通过的账号创建,负责人增长团队,状态在用。市场团队把自己的指标改名为 signup_form_submitted(另一条合理的条目),此后凡是声称在量注册的漏斗,要么明确是表单提交口径 1,050 ÷ 50,000 = 2.10%,要么是验证账号口径 880 ÷ 50,000 = 1.76%——各自标清楚,口径一致,不再互相打架。
第二笔成本是查找时间。建目录之前,12 名分析师每人每周约查 3 次「该用哪个事件/哪张表」,每次 25 分钟(到处问人、翻旧看板):12 × 3 × 25 = 900 分钟 = 每周 15 小时。有了维护中的目录,同样的查找只要 4 分钟:12 × 3 × 4 = 144 分钟 = 每周 2.4 小时。目录每周省下 12.6 小时——但前提是条目一直是对的,这正是下一节要解决的问题。
目录为什么会过时,怎么让它活着
目录是对「现在」的陈述,而「现在」一直在变:表结构改了、事件改名了、负责人离职了。没有负责人、没有更新机制的条目会悄悄失效——大约一个季度后,错的条目多到分析师不再相信目录,回头继续到处问人。用这三条判断规则:
- 条目没有具名负责人,就等于还没编目。「数据团队」不算负责人;一个人或一个具名的小团队才算。
- 没有任何机制定期核对条目,就默认它是过时的。「最后核对」日期超过你的复核周期(比如 90 天),条目应该被明显标记出来。
- 新资产可以不经过目录就出现,目录一定会漂移。新出现的表或事件,要先过一道认领/评审,才能进正式定义。
按这些规则落地,分五步:
- 先盘清单,再补细节。列出人们真正在查的资产——表、事件、指标。从出现在多数看板里的那 20% 开始,不要一上来就盘 5,000 张表。
- 每条条目指定负责人。负责人维护的是定义,不一定是数据链路本身。
- 写清定义和已知的坑。一句人话,加上已知的陷阱,比如上面 iOS 验证时序那个坑。
- 给条目一个状态生命周期。提议中 → 开发中 → 验收中 → 在用 → 已废弃。废弃的条目保留可搜索,并指向替代条目,方便追溯旧看板。
- 机器知道的自动采,只有人知道的定期审。表结构、新鲜度自动采集;负责人和定义的复核放进固定日历。命名从头就保持一致——见数据分类法——并把新事件的规划当成「从初始就建目录」来做(埋点方案)。
在 TapCub 里:分析数据这一块的目录
拿上面的 signup 算例来说:三个团队、三个数、没有书面定义。在 TapCub 里,同样的纪律落在埋点方案、事件定义和属性字典上,三者合起来给一个领域编目:你分析项目里的事件和属性。TapCub 不是企业级数据目录,不盘点仓库表、BI 报表,也不做跨系统血缘;那些仍然要用仓库侧的目录,比如 AWS Glue Data Catalog。
- 先写条目,再写代码。 在 全端分析 › 数据管理 › 埋点方案 里定义
signup_completed:显示名、分类、平台、触发时机(「邮箱验证通过后」)、属性(method:字符串,必填;plan:字符串,选填)、负责人、状态。埋点方案记录打算采集的事件,包括还没上报的,状态有「待评审」「开发中」「验收中」「已上线」「已废弃」:上一节说的生命周期,产品里就有。市场部的指标单独记一条signup_form_submitted,有自己的负责人。 - 让实际数据来核对条目。 打开「实时验证(近 24 h)」,方案会多两列:近 24 小时命中,以及必填属性完整度。如果 iOS 上报的
signup_completed缺method,完整度在这里就会掉下来,不用等季度盘点。完整度低只是提示,不会拦下事件。 - 让野事件被看见。 没登记过的
track()事件名,会以「未规划」出现在 全端分析 › 数据管理 › 事件收件箱;收件箱的「事件定义」页签,就是已存在事件的目录。由人决定它是批准、回到代码里改名,还是设为「已拦截」;在这之前它照常入库,所以审核靠习惯,不是一道闸门。 - 写清每个字段的含义和敏感程度。 全端分析 › 数据管理 › 属性字典 记录每个属性的类型和敏感级别(直接标识、间接标识、非个人),还能加入库校验规则。全端分析 › 数据管理 › 数据质量 从管道角度回答「能不能信」:摄入告警、采集端拒绝、高基数属性、疑似失效的圈选规则。
- 人工那部分要排进日程。 埋点方案有负责人字段,但没有复核日期,所以把负责人复核排进日历,比如每 90 天一次。近 24 小时命中只能说明事件还在上报;定义还对不对,只有负责人能回答。
核心观点在这个尺度上同样成立:埋点方案只有在每条条目都有负责人、有人维护状态时才算目录。放着一个季度不管,事件收件箱就会堆满没人看过的未规划事件名,还是那份过时的清单,只是领域小一点。
出处
- AWS,What is a Data Catalog?——定义,以及业务 / 技术 / 操作元数据的分类。2026-11-15 核对。
- IBM,What is a data catalog?——「资产清单」式定义,目录与数据字典的区别。2026-11-15 核对。
- AWS Glue 文档,AWS Glue concepts——Glue Data Catalog 是由爬虫填充的持久元数据存储。2026-11-15 核对。
- Collibra,Data Catalog——企业级目录的范围:跨系统的定义、负责人、分级、关系和政策。2026-11-15 核对。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
