一句话回答
数据校验是在数据入库或使用之前,按既定规则检查它,比如类型、范围、格式和必填字段。它证明数据格式正确,而不是数据为真;越靠近源头和入口,越能让错误的值进不了报表。
什么是数据校验?
数据校验是在数据入库或使用之前,按既定规则检查它,让类型不对、超出范围、格式不对或缺失的值进不了你的报表。IBM 把有效数据描述为:落在允许的界限或范围内、符合规定的格式、满足组织自己的标准。在分析场景里,数据就是事件和它们的属性,规则长得像「购买金额是 0 到 1,000 之间的数字」。
校验证明的是数据有效,而不是数据为真。一笔 50 美元的订单被记成 40 美元,照样通过所有规则。它也不同于清洗:校验是在数据到达时决定要不要接受,清洗是修复已经入库的数据。
数据校验的检查类型
| 检查 | 它问什么 | 事件上的示例规则 | JSON Schema 关键字 |
|---|---|---|---|
| 是否存在 | 必填字段在不在? | order_id 必须存在 | required |
| 类型 | 是不是对的值类型? | value 是数字,不是文本「$40」 | type |
| 范围 | 在不在界限内? | value 至少为 0、至多为 1,000 | minimum、maximum |
| 允许的值 | 是不是固定清单里的一个? | plan 是 free、pro 或 max | enum |
| 格式 | 符不符合某种模式? | order_id 形如 ORD-123456 | pattern |
| 长度 | 够不够短? | coupon 最多 20 个字符 | maxLength |
| 唯一性 | 有没有重复? | 一个列表里每一项只出现一次 | uniqueItems(仅限数组) |
| 一致性 | 字段之间互相对得上吗? | refund_amount 不超过 value | 无:需要跨字段规则 |
最后一列是 JSON Schema 规范里描述同样检查的正式词汇。不论用什么工具来执行,用它把规则写精确都很方便。
在哪一步校验:源头、入口还是入库后
| 阶段 | 能拦住什么 | 漏掉的代价 | 坏数据会怎样 |
|---|---|---|---|
| 源头(测试、评审、发布前写好的埋点方案) | 名称和类型的错误,在上线前就拦住 | 最低 | 有问题的代码不会上线 |
| 入口(事件到达时) | 任何发送方发来的畸形事件 | 中等:马上能看到,但数据行可能丢 | 告警、去掉字段、拒收,或暂存待查 |
| 入库后(质量检查和监控) | 数据漂移、量级下跌、失效的埋点 | 最高:报表已经用了错误的数字 | 往后修复,并回填历史 |
越早越便宜,但每一步能拦住的东西别的步骤拦不住,所以要多层并用。
算例:没经过校验的事件会让收入变成什么样
示例数据:一周内有 5,000 个购买事件,发送正确的话每个价值 40.00 美元,所以真实收入是 5,000 × 40.00 美元 = 200,000 美元。里面混着三类发送方。
| 分组 | 事件数 | 发送的内容 | 对收入求和的影响 |
|---|---|---|---|
| 正确 | 4,675 | value = 40.00(数字) | 计入:4,675 × 40 美元 = 187,000 美元 |
| 文本值 | 300 | value = "$40.00"(文本) | 无法求和,贡献 0 美元 |
| 把美分当美元 | 25 | value = 4000 | 计入:25 × 4,000 美元 = 100,000 美元 |
报表显示的收入是 187,000 + 0 + 100,000 = 287,000 美元,比真实的 200,000 美元高 43.5%,而图表上没有任何报错。两个错误方向相反:300 个事件(6.0%)从求和里消失了,25 个事件(0.5%)被放大了 100 倍。
现在加两条入口规则:value 必须是数字,并且不超过 1,000。两组都违反了规则,一共 325 个事件(6.5%)。
- 用进隔离区,会入库 4,675 个事件,收入显示 187,000 美元,低了 6.5%。数据质量页现在会列出被暂存的 325 个事件和原因,发送方就能修了。
- 用仅告警,5,000 个事件全部入库,收入仍显示 287,000 美元,但有 325 条告警告诉你原因。
校验不会修好数字。它把一个悄无声息的 43.5% 误差,变成一个看得见的 325 个事件的问题。你选哪种处理方式就是在做权衡:拦截会丢掉这些数据行,告警会留下它们,但报表里仍有错误的数字。
常见误区
- 只查格式、不查含义。 格式正确的值仍然可能是错的。校验拦的是畸形数据,所以要再拿一个你信得过的来源去对账,比如你自己数据库里的订单。
- 第一天就全部拦截。 被拒的事件就没了。先用告警,看清它们显示了什么,再把被证明没错的规则收紧。
- 把规则记在某个人脑子里。 把每个事件的名称、属性类型、必填字段和示例写进埋点方案,规则才能被评审和测试;这些规则所描述的结构,见事件模式。
- 只在上线时校验一次。 埋点在发版之后会坏。之后还要持续检查数据量和缺失字段,数据可观测性讲的就是这件事。
- 以为「必填」就是已经强制。 在方案里把字段标成必填,只是记录了预期;没有规则去执行,它什么也强制不了。
- 只校验一个发送方。 浏览器只是其中一个来源。服务端、移动 App 和导入都可能用不同的类型发送同一个事件,所以要在它们汇合的地方应用规则。
- 把被拒绝的数据看成流量低。 如果被拒的事件在任何地方都没计数,坏掉的发送方看起来就像平静的一天。要记录被拒的数量。规则由谁负责,是你数据治理要回答的问题。
在 TapCub 里怎么做数据校验
还拿购买事件的例子来说,同样的规则在 TapCub 里是这样的。
- 先把规则写下来。 在 全端分析 › 数据管理 › 埋点方案 里添加
purchase事件和它的属性:value为数字且必填,再加currency、order_id。每一行还有负责人、平台和状态(待评审、开发中、验收中、已上线、已废弃)。方案记录的是你打算采集的事件,包括还没发送的。 - 盯住头 24 小时。 打开「实时验证(近 24 h)」会多出两列:近 24 小时命中数,以及必填属性的完整度。完整度低只是提示,本身不拦截任何事件。
- 在入口强制执行。 在 全端分析 › 数据管理 › 属性字典 里编辑
value,添加校验规则:期望类型、事件上必填、正则表达式、最大长度、最小和最大值,或允许的值。选择违反时怎么处理:仅告警(事件入库,记一次告警)、丢弃属性(事件入库,去掉这个键)、拦截整条事件(不入库)或进隔离区(不入库,暂存供排查)。规则保存之后才生效。 - 查看拦住了什么。 全端分析 › 数据管理 › 数据质量 有摄入告警、高基数隔离、失效检测、隔离区和分级衰减几个页签。隔离区保留最近 300 条被暂存的事件。你不能从那里把它们放行入库,清空就是丢掉,所以先修好发送方,再点「清空隔离区」。
- 处理陌生的名称。 没有定义的事件会以「未规划」状态到达,并且仍然入库。在 全端分析 › 数据管理 › 事件收件箱 里认领它,或者把它的定义设为「已拦截」,来丢弃这个名称。除非你设为「已拦截」,TapCub 不会拿事件名去和方案比对。
编辑规则和清空隔离区需要分析师及以上角色。
资料来源
- IBM,What is data validation?
- JSON Schema,校验词汇表(draft 2020-12):
type、enum、minimum、maximum、pattern、maxLength、required和uniqueItems关键字。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
