什么是数据可观测性？五大支柱及在统计数据中的应用

什么是数据可观测性？

数据可观测性是指随时都能判断数据是否健康（新鲜、完整、结构正确、取值合理），不健康时能找到坏在哪里。这个说法借自软件领域的可观测性，只不过对象从服务器换成了数据管道。

五大支柱

可观测性、监控和数据质量

• 数据质量是目标：数据足够准确、完整、一致，可以拿来用。
• 监控检查事先设定的条件（「每小时事件少于 1,000 就告警」）。
• 可观测性补上排查没预料到的问题所需的上下文：历史、分布、血缘，以及数据在哪一步被丢掉。

统计埋点里常见的故障

埋点也是一条数据管道，而且坏掉时不出声：图上不会报错，数字只是变小。

每周检查清单

1. 把各事件的量和上周同一天比较。
2. 看看新出现的「未规划」事件，决定认领、改名还是拦截。
3. 检查关键事件必填属性的完整度。
4. 看采集端拒绝的数量和原因。
5. 确认数据延迟正常（今天的数据在陆续进来）。

TapCub 里的数据可观测性

数据质量页（全端分析 › 数据管理 › 数据质量）显示数据在入库前后哪里丢了：摄入告警、按原因列出的采集端拒绝（域名不匹配、排除规则、月度额度、限流、载荷无效、爬虫）、高基数属性、隔离区，以及失效检测：已确认的圈选规则命中周环比下降超过 80%、而同页面全埋点交互没怎么降时，会被标为疑似失效。埋点方案打开实时验证后，能看到每个事件近 24 小时的命中和必填属性完整度。告警方面，监控的「采集中断」条件在超过设定分钟数没有数据时触发，「异常检测」条件能抓到异常的数据量。另见数据字典和异常检测。