TapCub 正式上线:统计、分析、客服一个平台免费用
术语表

什么是数据校验?检查类型、在哪一步做和一个算例

数据校验是在值入库或使用之前,按规则检查它们。本文讲八类检查、在哪一步做,用一个算例说明错误的事件值怎样扭曲收入,并说明如何在 TapCub 里设置规则。

卢卡斯·海斯 审核人 陈屿 又称 数据校验规则 最后更新 2026 年 11 月 17 日 术语表

一句话回答

数据校验是在数据入库或使用之前,按既定规则检查它,比如类型、范围、格式和必填字段。它证明数据格式正确,而不是数据为真;越靠近源头和入口,越能让错误的值进不了报表。

什么是数据校验?

数据校验是在数据入库或使用之前,按既定规则检查它,让类型不对、超出范围、格式不对或缺失的值进不了你的报表。IBM 把有效数据描述为:落在允许的界限或范围内、符合规定的格式、满足组织自己的标准。在分析场景里,数据就是事件和它们的属性,规则长得像「购买金额是 0 到 1,000 之间的数字」。

校验证明的是数据有效,而不是数据为真。一笔 50 美元的订单被记成 40 美元,照样通过所有规则。它也不同于清洗:校验是在数据到达时决定要不要接受,清洗是修复已经入库的数据。

数据校验的检查类型

检查它问什么事件上的示例规则JSON Schema 关键字
是否存在必填字段在不在?order_id 必须存在required
类型是不是对的值类型?value 是数字,不是文本「$40」type
范围在不在界限内?value 至少为 0、至多为 1,000minimum、maximum
允许的值是不是固定清单里的一个?plan 是 free、pro 或 maxenum
格式符不符合某种模式?order_id 形如 ORD-123456pattern
长度够不够短?coupon 最多 20 个字符maxLength
唯一性有没有重复?一个列表里每一项只出现一次uniqueItems(仅限数组)
一致性字段之间互相对得上吗?refund_amount 不超过 value无:需要跨字段规则

最后一列是 JSON Schema 规范里描述同样检查的正式词汇。不论用什么工具来执行,用它把规则写精确都很方便。

在哪一步校验:源头、入口还是入库后

阶段能拦住什么漏掉的代价坏数据会怎样
源头(测试、评审、发布前写好的埋点方案)名称和类型的错误,在上线前就拦住最低有问题的代码不会上线
入口(事件到达时)任何发送方发来的畸形事件中等:马上能看到,但数据行可能丢告警、去掉字段、拒收,或暂存待查
入库后(质量检查和监控)数据漂移、量级下跌、失效的埋点最高:报表已经用了错误的数字往后修复,并回填历史

越早越便宜,但每一步能拦住的东西别的步骤拦不住,所以要多层并用。

算例:没经过校验的事件会让收入变成什么样

示例数据:一周内有 5,000 个购买事件,发送正确的话每个价值 40.00 美元,所以真实收入是 5,000 × 40.00 美元 = 200,000 美元。里面混着三类发送方。

分组事件数发送的内容对收入求和的影响
正确4,675value = 40.00(数字)计入:4,675 × 40 美元 = 187,000 美元
文本值300value = "$40.00"(文本)无法求和,贡献 0 美元
把美分当美元25value = 4000计入:25 × 4,000 美元 = 100,000 美元

报表显示的收入是 187,000 + 0 + 100,000 = 287,000 美元,比真实的 200,000 美元高 43.5%,而图表上没有任何报错。两个错误方向相反:300 个事件(6.0%)从求和里消失了,25 个事件(0.5%)被放大了 100 倍。

现在加两条入口规则:value 必须是数字,并且不超过 1,000。两组都违反了规则,一共 325 个事件(6.5%)。

  • 用进隔离区,会入库 4,675 个事件,收入显示 187,000 美元,低了 6.5%。数据质量页现在会列出被暂存的 325 个事件和原因,发送方就能修了。
  • 用仅告警,5,000 个事件全部入库,收入仍显示 287,000 美元,但有 325 条告警告诉你原因。

校验不会修好数字。它把一个悄无声息的 43.5% 误差,变成一个看得见的 325 个事件的问题。你选哪种处理方式就是在做权衡:拦截会丢掉这些数据行,告警会留下它们,但报表里仍有错误的数字。

常见误区

  • 只查格式、不查含义。 格式正确的值仍然可能是错的。校验拦的是畸形数据,所以要再拿一个你信得过的来源去对账,比如你自己数据库里的订单。
  • 第一天就全部拦截。 被拒的事件就没了。先用告警,看清它们显示了什么,再把被证明没错的规则收紧。
  • 把规则记在某个人脑子里。 把每个事件的名称、属性类型、必填字段和示例写进埋点方案,规则才能被评审和测试;这些规则所描述的结构,见事件模式。
  • 只在上线时校验一次。 埋点在发版之后会坏。之后还要持续检查数据量和缺失字段,数据可观测性讲的就是这件事。
  • 以为「必填」就是已经强制。 在方案里把字段标成必填,只是记录了预期;没有规则去执行,它什么也强制不了。
  • 只校验一个发送方。 浏览器只是其中一个来源。服务端、移动 App 和导入都可能用不同的类型发送同一个事件,所以要在它们汇合的地方应用规则。
  • 把被拒绝的数据看成流量低。 如果被拒的事件在任何地方都没计数,坏掉的发送方看起来就像平静的一天。要记录被拒的数量。规则由谁负责,是你数据治理要回答的问题。

在 TapCub 里怎么做数据校验

还拿购买事件的例子来说,同样的规则在 TapCub 里是这样的。

  1. 先把规则写下来。 在 全端分析 › 数据管理 › 埋点方案 里添加 purchase 事件和它的属性:value 为数字且必填,再加 currency、order_id。每一行还有负责人、平台和状态(待评审、开发中、验收中、已上线、已废弃)。方案记录的是你打算采集的事件,包括还没发送的。
  2. 盯住头 24 小时。 打开「实时验证(近 24 h)」会多出两列:近 24 小时命中数,以及必填属性的完整度。完整度低只是提示,本身不拦截任何事件。
  3. 在入口强制执行。 在 全端分析 › 数据管理 › 属性字典 里编辑 value,添加校验规则:期望类型、事件上必填、正则表达式、最大长度、最小和最大值,或允许的值。选择违反时怎么处理:仅告警(事件入库,记一次告警)、丢弃属性(事件入库,去掉这个键)、拦截整条事件(不入库)或进隔离区(不入库,暂存供排查)。规则保存之后才生效。
  4. 查看拦住了什么。 全端分析 › 数据管理 › 数据质量 有摄入告警、高基数隔离、失效检测、隔离区和分级衰减几个页签。隔离区保留最近 300 条被暂存的事件。你不能从那里把它们放行入库,清空就是丢掉,所以先修好发送方,再点「清空隔离区」。
  5. 处理陌生的名称。 没有定义的事件会以「未规划」状态到达,并且仍然入库。在 全端分析 › 数据管理 › 事件收件箱 里认领它,或者把它的定义设为「已拦截」,来丢弃这个名称。除非你设为「已拦截」,TapCub 不会拿事件名去和方案比对。

编辑规则和清空隔离区需要分析师及以上角色。

资料来源

这个解释清楚吗?

我们会根据反馈修改和补充这篇内容。

卢卡斯·海斯

数据工程师

聚焦事件设计、数据质量与采集流程,分享可验证的实施方法,帮助团队建立可靠的分析基础。

常见问题

常见追问

大家看完定义后最常问的几个问题。

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

数据校验和数据核实有什么区别?

校验检查一个值是否符合规则,比如是否是范围内的数字;核实检查它是否符合现实,比如把记录的订单金额和你数据库里的订单对一遍。一个值可以通过校验,却通不过核实。

数据校验有哪些主要类型?

常见的检查有必填字段是否存在、数据类型、范围、允许的值、格式、长度、唯一性,以及字段之间的一致性。事件数据主要对属性做类型、必填、范围和允许值检查。

无效事件应该拦截,还是只做标记?

先标记。被拦截或进隔离区的事件不会入库,规则过严就会丢掉真实数据。等一条规则被证明只拦住真正的错误之后,再对这种情况拦截或隔离,让错误值留在报表之外。

TapCub 会检查事件名和必填属性吗?

默认不会。没有定义的事件名会以未规划状态到达,除非把它的定义设为已拦截,否则仍然入库;必填属性只用于完整度统计。真正拒收或暂存错误值的,是属性字典里的校验规则。

在你自己的网站上看这个数字

加一行脚本就能开始,网站和 App 都能接,几分钟内就能看到第一批报表。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie