数据管道监控,是一小组自动检查,在数据迟到、数量不对、形状不对或数值不对时告诉你:新鲜度、对照同星期几基线的数量、完整度、重复和范围。只看运行状态不够。本文给出起步阈值、一个出问题的一周的算例和回测步骤。
读完你会知道
- 五项检查覆盖多数事故:新鲜度、数量、完整度、重复和数值范围;每一项都设警告和报警两级
- 数量和同一星期几的中位数比:示例里固定的 80% 规则每个周末都会报警,按星期几的基线则不会
- 每条规则启用前先在 28 天上回测,并给每条报警指定负责人和第一步操作
数据管道会出哪些错
数据管道监控,是一组自动检查:在有人发现看板坏掉之前,就告诉你数据到得晚、数量不对、形状不对或数值不对。一个任务显示绿色的「成功」,仍可能什么有用的数据都没送到,所以只看运行状态不算监控。
五种故障模式覆盖了大多数事故:
| 故障 | 你看到的现象 | 能抓住它的检查 |
|---|---|---|
| 延迟 | 早上 9 点还没有昨天的数字 | 新鲜度 |
| 缺失或暴增 | 数量远低于或远高于正常 | 对照基线的数量检查 |
| 形状不对 | 必填字段为空,或类型变了 | 结构与完整度 |
| 重复 | 计数跳升、合计翻倍 | 按唯一标识的重复率 |
| 数值不对 | 收入为负、日期在未来 | 范围与合理性规则 |
后面的小节给每项检查一个起步阈值。这些数字是供调整的默认值,不是标准。
新鲜度:最新的数据有多旧
新鲜度是自最近一条记录入库以来经过的时间。它是成本最低的检查,却能抓住最常见的故障:任务停了。Google Cloud 关于管道指标的指南把同一个意思描述为「最近一条完整处理完的数据的年龄」,并把它当作延迟类信号。
按每个数据源应该多久更新一次,设两级阈值。dbt 文档自己的示例把一个数据源配置为 12 小时后警告、24 小时后报错;这适合应当每天更新的数据源。一个合理的起步规则:
| 预期更新频率 | 超过多久警告 | 超过多久报错 |
|---|---|---|
| 每 5 分钟 | 15 分钟 | 30 分钟 |
| 每小时 | 2 小时 | 4 小时 |
| 每天 | 26 小时 | 36 小时 |
规则是:约两倍于预期间隔时警告,约四倍时报错;每天更新的数据源多留一点余量,免得一个慢任务在早上 6 点把人吵醒。要从事件或入库时间戳起算,而不是从检查运行的时间起算。
数量:和同一个星期几比
数量检查把今天的记录数和这一天的正常值比较。用一条固定阈值会失败,因为多数数据有周内规律。示例数据:四周的每日事件数,得到下面这些同星期几的中位数。
| 星期 | 近 4 周中位数 | 低于 80% 警告 | 低于 60% 报警 |
|---|---|---|---|
| 周一 | 10,250 | 8,200 | 6,150 |
| 周二 | 10,350 | 8,280 | 6,210 |
| 周三 | 10,275 | 8,220 | 6,165 |
| 周四 | 10,250 | 8,200 | 6,150 |
| 周五 | 9,975 | 7,980 | 5,985 |
| 周六 | 7,275 | 5,820 | 4,365 |
| 周日 | 7,150 | 5,720 | 4,290 |
固定规则会说明为什么这很重要。七个中位数的均值是 65,525 ÷ 7 = 9,361 条每天。固定的「低于均值 80% 就报警」阈值是 7,489,周六(7,275)和周日(7,150)每周都会掉到它下面。用同星期几的中位数,周末有了自己的基线,这些误报就消失了。
用中位数而不是均值,这样过去的一次故障不会把基线拉低。再加一条上限,比如 150%,因为暴增可能意味着重复或机器人。
| 星期 | 近 4 周中位数 | 低于 80% 警告 | 低于 60% 报警 |
|---|---|---|---|
| 周一 | 10,250 | 8,200 | 6,150 |
| 周三 | 10,275 | 8,220 | 6,165 |
| 周六 | 7,275 | 5,820 | 4,365 |
| 周日 | 7,150 | 5,720 | 4,290 |
四周同星期几的中位数;再加一条约 150% 的上限,以抓住暴增和重复。
读懂一个出问题的一周
示例数据:把第五周和上面的表对照。
| 星期 | 事件数 | 占基线 | 状态 |
|---|---|---|---|
| 周一 | 10,280 | 100.3% | 正常 |
| 周二 | 10,330 | 99.8% | 正常 |
| 周三 | 5,400 | 52.6% | 报警 |
| 周四 | 10,150 | 99.0% | 正常 |
| 周五 | 9,890 | 99.1% | 正常 |
| 周六 | 7,280 | 100.1% | 正常 |
| 周日 | 0 | 0% | 报警 |
周三 52.6% 低于 60% 这条线,所以当天就有人收到通知。周日为零说明管道停了;对一个每小时更新的数据源,新鲜度检查会在 4 小时内抓到,而不用等每日合计。这两条报警的原因不同(部分故障和彻底停止),这张表就是区分它们的办法。对每日合计做数量检查是兜底,不是最快的警报。
周三
52.6%
▼ 低于 60% 报警线
周日
0
▼ 管道停了
其余几天
约等于基线
在正常范围内
每日事件数:基线对本周
基线(4 周中位数)本周结构与完整度:形状还对吗
结构检查用来防止发版之后的悄悄损坏。三项检查覆盖多数情况:
- 必填字段齐全。 对每个重要事件,看必填属性填了的行占比。用于收入或转化数字的字段,低于 99% 就报警。
- 类型稳定。 一个原本是数字、现在以文本到达的字段,会让求和出错却不报任何错误。
- 新出现或消失的事件。 第一次出现的事件名,或停止出现的事件名,通常说明有一次你不知道的发版。
示例数据:一天到达 2,000 个订单事件,其中 1,940 个有收入值。完整度是 1,940 ÷ 2,000 = 97.0%。对照 99% 的线,这就是报警,有 60 个订单缺收入。先在发送端代码里修掉原因,再决定要不要回填。
重复与数值范围
重复检查数的是同一个唯一标识出现了几次。示例数据:一天 10,300 个事件里有 103 个重复的事件 ID,即 103 ÷ 10,300 = 1.0%。起步规则是高于 0.5% 警告、高于 2% 报警,因为重试循环或重复触发的标签会很快成倍放大计数。
范围规则抓的是「可能但不对」的值:负的价格、订单金额为零、时间戳在未来或早于一天以前、国家代码不在列表里。给喂养你最重要指标的字段写五条规则,只有事故暴露出缺口时才再加一条。
延迟和错误:另外两个信号
Google 的 SRE 指南给服务描述了四个黄金信号:延迟、流量、错误和饱和度。对管道来说可以直接对应:新鲜度是延迟,数量是流量,失败的记录和任务错误是错误,不断增长的未处理积压是饱和度。
错误率按失败记录数除以尝试记录数来跟踪。对失败记录就会丢失的数据源,起步规则是 1% 警告、5% 报警。对基于队列的管道,当最老的未处理项比你的新鲜度报错级别还旧时就报警,因为这是积压最早的迹象。
通知谁,怎么通知
SRE 手册建议:每一次呼叫都应当紧急且可执行,次要的问题放在看板或工单里,而不是吵闹的邮件里。用两级来落实:
| 级别 | 含义 | 去向 |
|---|---|---|
| 警告 | 今天值得看一眼 | 团队频道或工单 |
| 报警 | 报表现在是错的 | 指定负责人,立即通知 |
每条报警都要在规则旁边写明负责人和第一步操作。没有负责人的报警,只是一条没人处理的通知。
用回测调阈值
启用规则之前,先在最近 28 天上重放一遍。数一数它会触发几次,再和你确实知道的事故对照。如果它每周触发一次以上却没有真事故,就放宽;如果已知的事故没有触发,就收紧。示例数据:80% 警告线在四个示例周里触发零次,60% 报警线也是零次,这正是安静的一个月应有的结果。
回顾过去一个月触发过的每条报警,给它标上三种标签之一:真实、误报或不确定。超过一半的报警是误报,就停用或修改那条规则。
报警触发后怎么办
一份简短的处理手册,能把一条报警变成一次修复。把这四步写在每条报警规则旁边:
- 确认它是真的。 对照源系统同一时段的数据。如果源头也下降了,说明管道没问题、是业务变了;如果源头正常,说明管道丢了数据。
- 找出在哪一环停的。 按顺序检查链路:发送端、采集入口、队列、存储、报表。第一个计数比前一环更低的环节,就是数据丢失的地方。
- 修复并标注。 修好原因,再加一条带日期范围的标注,免得有人把这段缺口读成业务趋势。
- 决定是否回填。 如果丢失的事件可以重放,就重放一次并复查计数;不能重放,就把这段缺口记为无法找回。
在 TapCub 里
TapCub 不监控你的数据仓库或 ETL 任务;它监控进入 TapCub 的事件,也就是网站、App 和服务端数据这条管道的第一步。
- 在 全端分析 › 数据管理 › 埋点方案 里,记录你打算采集的事件及其必填属性,然后打开实时验证(近 24 小时)。它显示每个事件的到达数和必填属性的完整度,也就是上面的结构与完整度检查。
- 你没有计划过的新事件名,会出现在 全端分析 › 数据管理 › 事件收件箱,直到有人认领,这能抓住「不知道的发版」这种情况。
- 在 全端分析 › 智能运营 › 监控 里,对内置指标(比如页面浏览量、会话数或错误率)或保存的自定义指标(比如某个事件的每日次数)建一条检查。选按小时、天、周或月,设好条件,再用试运行:它只计算不发送,并告诉你过去 30 天这条规则会触发几次,这就是回测。
- 告警会发到邮件、企业微信、钉钉、飞书或 Webhook。监控只通知,不会改动任何东西。同一条告警默认约 60 分钟内不重复发送。
FAQ
数据管道应该监控什么?
从五项检查开始:新鲜度(最新数据有多旧)、对照同一星期几的数量、必填字段完整度、重复率和数值范围。基于队列的管道再加错误率和积压。每一项都设警告和报警两级。
数据量的告警阈值怎么设?
把每一天和近四周同一星期几的中位数比较,低于 60% 报警、低于 80% 警告,再在 150% 附近加一条上限。启用前在 28 天上回测这条规则。
什么是数据新鲜度,怎么衡量?
新鲜度是自最新一条记录入库以来经过的时间,从事件或入库时间戳起算。起步规则是约两倍于预期更新间隔时警告,约四倍时报错。
怎样减少误报?
用同星期几的基线代替固定阈值,用中位数,每条规则都回测,每月把当月的告警标成真实或误报。多数告警是误报的规则就停用,并让每条告警都有指定负责人。
只看运行状态够判断管道正常吗?
不够。一个任务可以成功结束却什么都没入库、只入了一半,或者字段错了。把运行状态和针对数据本身的新鲜度、数量和结构检查配合使用。
资料来源
- Google SRE 手册,Monitoring Distributed Systems(四个黄金信号;每次呼叫都应当紧急且可执行)。核对于 2026-11-21。
- dbt 文档,freshness(warn_after、error_after;示例 12 和 24 小时)。核对于 2026-11-21。
- Google Cloud 博客,The right metrics to monitor cloud data pipelines(黄金信号对应的管道指标、数据水位线年龄和系统滞后)。核对于 2026-11-21。
这篇文章对你有帮助吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。

