TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

数据管道监控:新鲜度、数量和结构检查

数据管道监控需要几项带真实阈值的检查。了解新鲜度、同星期几的数量基线、结构完整度和重复规则,附一个出问题的一周的算例和回测步骤。

许安 发布于 2026 年 11 月 21 日 9 分钟阅读 数据分析
示例数据:周三只有 5,400 个事件,预期是 10,275(52.6%),周日一个都没有。按星期几的基线两天都能标出来,又不会把周末的正常回落当成问题。示例数据

数据管道监控,是一小组自动检查,在数据迟到、数量不对、形状不对或数值不对时告诉你:新鲜度、对照同星期几基线的数量、完整度、重复和范围。只看运行状态不够。本文给出起步阈值、一个出问题的一周的算例和回测步骤。

读完你会知道

  • 五项检查覆盖多数事故:新鲜度、数量、完整度、重复和数值范围;每一项都设警告和报警两级
  • 数量和同一星期几的中位数比:示例里固定的 80% 规则每个周末都会报警,按星期几的基线则不会
  • 每条规则启用前先在 28 天上回测,并给每条报警指定负责人和第一步操作

数据管道会出哪些错

数据管道监控,是一组自动检查:在有人发现看板坏掉之前,就告诉你数据到得晚、数量不对、形状不对或数值不对。一个任务显示绿色的「成功」,仍可能什么有用的数据都没送到,所以只看运行状态不算监控。

五种故障模式覆盖了大多数事故:

故障你看到的现象能抓住它的检查
延迟早上 9 点还没有昨天的数字新鲜度
缺失或暴增数量远低于或远高于正常对照基线的数量检查
形状不对必填字段为空,或类型变了结构与完整度
重复计数跳升、合计翻倍按唯一标识的重复率
数值不对收入为负、日期在未来范围与合理性规则

后面的小节给每项检查一个起步阈值。这些数字是供调整的默认值,不是标准。

新鲜度:最新的数据有多旧

新鲜度是自最近一条记录入库以来经过的时间。它是成本最低的检查,却能抓住最常见的故障:任务停了。Google Cloud 关于管道指标的指南把同一个意思描述为「最近一条完整处理完的数据的年龄」,并把它当作延迟类信号。

按每个数据源应该多久更新一次,设两级阈值。dbt 文档自己的示例把一个数据源配置为 12 小时后警告、24 小时后报错;这适合应当每天更新的数据源。一个合理的起步规则:

预期更新频率超过多久警告超过多久报错
每 5 分钟15 分钟30 分钟
每小时2 小时4 小时
每天26 小时36 小时

规则是:约两倍于预期间隔时警告,约四倍时报错;每天更新的数据源多留一点余量,免得一个慢任务在早上 6 点把人吵醒。要从事件或入库时间戳起算,而不是从检查运行的时间起算。

数量:和同一个星期几比

数量检查把今天的记录数和这一天的正常值比较。用一条固定阈值会失败,因为多数数据有周内规律。示例数据:四周的每日事件数,得到下面这些同星期几的中位数。

星期近 4 周中位数低于 80% 警告低于 60% 报警
周一10,2508,2006,150
周二10,3508,2806,210
周三10,2758,2206,165
周四10,2508,2006,150
周五9,9757,9805,985
周六7,2755,8204,365
周日7,1505,7204,290

固定规则会说明为什么这很重要。七个中位数的均值是 65,525 ÷ 7 = 9,361 条每天。固定的「低于均值 80% 就报警」阈值是 7,489,周六(7,275)和周日(7,150)每周都会掉到它下面。用同星期几的中位数,周末有了自己的基线,这些误报就消失了。

用中位数而不是均值,这样过去的一次故障不会把基线拉低。再加一条上限,比如 150%,因为暴增可能意味着重复或机器人。

星期近 4 周中位数低于 80% 警告低于 60% 报警
周一10,2508,2006,150
周三10,2758,2206,165
周六7,2755,8204,365
周日7,1505,7204,290

四周同星期几的中位数;再加一条约 150% 的上限,以抓住暴增和重复。

读懂一个出问题的一周

示例数据:把第五周和上面的表对照。

星期事件数占基线状态
周一10,280100.3%正常
周二10,33099.8%正常
周三5,40052.6%报警
周四10,15099.0%正常
周五9,89099.1%正常
周六7,280100.1%正常
周日00%报警

周三 52.6% 低于 60% 这条线,所以当天就有人收到通知。周日为零说明管道停了;对一个每小时更新的数据源,新鲜度检查会在 4 小时内抓到,而不用等每日合计。这两条报警的原因不同(部分故障和彻底停止),这张表就是区分它们的办法。对每日合计做数量检查是兜底,不是最快的警报。

app.tapcub.com

周三

52.6%

▼ 低于 60% 报警线

周日

0

▼ 管道停了

其余几天

约等于基线

在正常范围内

每日事件数:基线对本周

基线(4 周中位数)本周
周一周二周三周四周五周六周日
示例数据
示例数据:周三只有 5,400 个事件,预期是 10,275(52.6%),周日一个都没有。按星期几的基线两天都能标出来,又不会把周末的正常回落当成问题。

结构与完整度:形状还对吗

结构检查用来防止发版之后的悄悄损坏。三项检查覆盖多数情况:

  • 必填字段齐全。 对每个重要事件,看必填属性填了的行占比。用于收入或转化数字的字段,低于 99% 就报警。
  • 类型稳定。 一个原本是数字、现在以文本到达的字段,会让求和出错却不报任何错误。
  • 新出现或消失的事件。 第一次出现的事件名,或停止出现的事件名,通常说明有一次你不知道的发版。

示例数据:一天到达 2,000 个订单事件,其中 1,940 个有收入值。完整度是 1,940 ÷ 2,000 = 97.0%。对照 99% 的线,这就是报警,有 60 个订单缺收入。先在发送端代码里修掉原因,再决定要不要回填。

重复与数值范围

重复检查数的是同一个唯一标识出现了几次。示例数据:一天 10,300 个事件里有 103 个重复的事件 ID,即 103 ÷ 10,300 = 1.0%。起步规则是高于 0.5% 警告、高于 2% 报警,因为重试循环或重复触发的标签会很快成倍放大计数。

范围规则抓的是「可能但不对」的值:负的价格、订单金额为零、时间戳在未来或早于一天以前、国家代码不在列表里。给喂养你最重要指标的字段写五条规则,只有事故暴露出缺口时才再加一条。

延迟和错误:另外两个信号

Google 的 SRE 指南给服务描述了四个黄金信号:延迟、流量、错误和饱和度。对管道来说可以直接对应:新鲜度是延迟,数量是流量,失败的记录和任务错误是错误,不断增长的未处理积压是饱和度。

错误率按失败记录数除以尝试记录数来跟踪。对失败记录就会丢失的数据源,起步规则是 1% 警告、5% 报警。对基于队列的管道,当最老的未处理项比你的新鲜度报错级别还旧时就报警,因为这是积压最早的迹象。

通知谁,怎么通知

SRE 手册建议:每一次呼叫都应当紧急且可执行,次要的问题放在看板或工单里,而不是吵闹的邮件里。用两级来落实:

级别含义去向
警告今天值得看一眼团队频道或工单
报警报表现在是错的指定负责人,立即通知

每条报警都要在规则旁边写明负责人和第一步操作。没有负责人的报警,只是一条没人处理的通知。

用回测调阈值

启用规则之前,先在最近 28 天上重放一遍。数一数它会触发几次,再和你确实知道的事故对照。如果它每周触发一次以上却没有真事故,就放宽;如果已知的事故没有触发,就收紧。示例数据:80% 警告线在四个示例周里触发零次,60% 报警线也是零次,这正是安静的一个月应有的结果。

回顾过去一个月触发过的每条报警,给它标上三种标签之一:真实、误报或不确定。超过一半的报警是误报,就停用或修改那条规则。

报警触发后怎么办

一份简短的处理手册,能把一条报警变成一次修复。把这四步写在每条报警规则旁边:

  1. 确认它是真的。 对照源系统同一时段的数据。如果源头也下降了,说明管道没问题、是业务变了;如果源头正常,说明管道丢了数据。
  2. 找出在哪一环停的。 按顺序检查链路:发送端、采集入口、队列、存储、报表。第一个计数比前一环更低的环节,就是数据丢失的地方。
  3. 修复并标注。 修好原因,再加一条带日期范围的标注,免得有人把这段缺口读成业务趋势。
  4. 决定是否回填。 如果丢失的事件可以重放,就重放一次并复查计数;不能重放,就把这段缺口记为无法找回。

在 TapCub 里

TapCub 不监控你的数据仓库或 ETL 任务;它监控进入 TapCub 的事件,也就是网站、App 和服务端数据这条管道的第一步。

  1. 在 全端分析 › 数据管理 › 埋点方案 里,记录你打算采集的事件及其必填属性,然后打开实时验证(近 24 小时)。它显示每个事件的到达数和必填属性的完整度,也就是上面的结构与完整度检查。
  2. 你没有计划过的新事件名,会出现在 全端分析 › 数据管理 › 事件收件箱,直到有人认领,这能抓住「不知道的发版」这种情况。
  3. 在 全端分析 › 智能运营 › 监控 里,对内置指标(比如页面浏览量、会话数或错误率)或保存的自定义指标(比如某个事件的每日次数)建一条检查。选按小时、天、周或月,设好条件,再用试运行:它只计算不发送,并告诉你过去 30 天这条规则会触发几次,这就是回测。
  4. 告警会发到邮件、企业微信、钉钉、飞书或 Webhook。监控只通知,不会改动任何东西。同一条告警默认约 60 分钟内不重复发送。

FAQ

数据管道应该监控什么?

从五项检查开始:新鲜度(最新数据有多旧)、对照同一星期几的数量、必填字段完整度、重复率和数值范围。基于队列的管道再加错误率和积压。每一项都设警告和报警两级。

数据量的告警阈值怎么设?

把每一天和近四周同一星期几的中位数比较,低于 60% 报警、低于 80% 警告,再在 150% 附近加一条上限。启用前在 28 天上回测这条规则。

什么是数据新鲜度,怎么衡量?

新鲜度是自最新一条记录入库以来经过的时间,从事件或入库时间戳起算。起步规则是约两倍于预期更新间隔时警告,约四倍时报错。

怎样减少误报?

用同星期几的基线代替固定阈值,用中位数,每条规则都回测,每月把当月的告警标成真实或误报。多数告警是误报的规则就停用,并让每条告警都有指定负责人。

只看运行状态够判断管道正常吗?

不够。一个任务可以成功结束却什么都没入库、只入了一半,或者字段错了。把运行状态和针对数据本身的新鲜度、数量和结构检查配合使用。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

许安

客户体验顾问

关注在线客服、访客沟通与自助服务,分享常见问题的处理思路和可复用流程,让每一次沟通更清晰有效。

数据一到就盯着

TapCub 对照埋点方案检查事件到达数和必填属性完整度,监控还能对数量或错误率告警。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie