实时分析平台在事件发生时就收集它,让你在几秒或几分钟内查询,而不是等批处理任务。实时并不自动更好:只有当看到数据后的几分钟内能改变一个决定时,它才划算。下面讲决策检验、盈亏平衡算例、暂定数字和向厂商提问的清单。
读完你会知道
- 先问哪些决定会在几分钟内改变,再去买速度;很多决定并不会
- 只有当每次事故节省的小时数乘以每小时损失,超过每月多花的钱,流式才胜过每小时刷新
- 新鲜的数字是暂定的:不完整的一天要和另一天的同一时段比
什么是实时分析平台?
实时分析平台在事件发生时就收集它,持续处理,并让你在几秒或几分钟内查到结果,而不是等一个定时的批处理任务。IBM 把实时分析描述为在数据可用时就进行分析,使用持续更新的数据流,并与批处理对照:批处理是先随时间收集数据,再按固定间隔分析。
多数平台由相同的几部分搭成:负责摄取事件的部分,负责处理事件(过滤、关联、计数)的部分,以及可以快速查询的存储。「实时」不是一种速度。实际上分三档:
| 档位 | 典型延迟 | 用起来的感觉 |
|---|---|---|
| 流式 | 几秒到几分钟 | 一个实时跳动的计数器 |
| 高频批处理 | 约一小时 | 一天里不断刷新的看板 |
| 每日批处理 | 很多小时 | 早上看到昨天的报表 |
背后的概念见 实时 和 数据延迟。本文接下来问的是另一个问题:你需要多快,这个速度要花多少钱?
| 档位 | 适合的决定 | 通常多余的场合 |
|---|---|---|
| 流式(几秒到几分钟) | 拦截欺诈、故障响应、上线检查 | 每周报告、预算复盘 |
| 每小时刷新 | 运营看板、排班、活动节奏 | 拦截欺诈 |
| 每日批处理 | 营销表现、产品复盘、财务 | 延迟一小时就真金白银受损的场合 |
档位要对齐仍然可行的最慢决定,而不是你能想象到的最快决定。
哪些决定真的需要实时数据?
速度只有在有人能赶在信息过时之前采取行动时才有价值。把每个决定都拿去回答「接下来十分钟我们会有什么不同的做法?」
| 决定 | 仍然可行的延迟 | 原因 |
|---|---|---|
| 拦截一笔可疑支付 | 几秒 | 钱立刻就转走了 |
| 发现结账坏了 | 几分钟到一小时 | 故障每多一小时就多丢订单 |
| 确认上线或活动已生效 | 几分钟 | 链接错了现在就能改 |
| 安排接下来一小时的客服排班 | 约一小时 | 排班调整本来就慢 |
| 调整每日广告预算 | 一天 | 平台本来就有延迟地回报 |
| 调整定价或路线图 | 一周或更久 | 一小时前的数字改变不了决定 |
如果一个决定落在这张表的下半部分,每天刷新一次不是妥协,而是合适。常见的错误是花钱买了上半部分的速度,去支撑下半部分的决定。
更快的数据要花多少钱,什么时候划算?
盈亏平衡很简单:当(每次事故节省的小时数 × 每小时损失 × 每月事故次数)大于每月多花的钱时,更快的发现才划算。示例数据:一家商店结账每坏一小时,就损失 1,500 美元订单。三种配置,平台月成本和发现问题的平均用时都是假设值:
| 配置 | 平台月成本 | 平均发现用时 |
|---|---|---|
| 每日报表 | 400 美元 | 12 小时 |
| 每小时刷新 | 1,100 美元 | 1 小时 |
| 流式 | 4,200 美元 | 0.1 小时(6 分钟) |
每月总成本 = 平台成本 +(每月事故次数 × 发现用时 × 1,500 美元):
| 每月事故次数 | 每日报表 | 每小时刷新 | 流式 |
|---|---|---|---|
| 1 | 400 + 1 × 12 × 1,500 = 18,400 美元 | 1,100 + 1 × 1 × 1,500 = 2,600 美元 | 4,200 + 1 × 0.1 × 1,500 = 4,350 美元 |
| 0.1(每十个月一次) | 400 + 0.1 × 12 × 1,500 = 2,200 美元 | 1,100 + 0.1 × 1 × 1,500 = 1,250 美元 | 4,200 + 0.1 × 0.1 × 1,500 = 4,215 美元 |
两种情况下都是中间那档划算。流式要胜过每小时刷新,就得靠它每次事故多省下的 0.9 小时,来覆盖每月多出的 3,100 美元:每月一次事故时,故障每小时的损失要高于 3,100 ÷ 0.9 ≈ 3,444 美元。按每小时 1,500 美元,它永远不划算。这些数字是编的,但方法可以照搬:把你自己的故障损失、事故频率和报价代进去。
每月总成本,每月一次事故
示例,美元为什么实时数字和最终数字不一样?
新鲜的数据是暂定的。事件会迟到,会被去重,事后还会被重新归类。一家大型分析厂商在文档里公开写明:实时视图通常晚几分钟,当日数据要几小时,数据处理可能要 24 到 48 小时,这期间报表数据可能变化。无论你用什么工具,都去读它的数据新鲜度说明。
实用规则是:拿同类比同类。 不完整的一天要和另一天的同一时段比,不能和完整的一天比。示例数据:今天 14:00 你有 4,200 次页面浏览,昨天整天是 11,000 次。看上去像是暴跌 62%。但昨天到 14:00 已有 4,500 次,所以真实变化是 4,200 ÷ 4,500 − 1 = −6.7%。如果监控拿前一整天做对比,每天下午都会误报。
怎样把这些用到你自己的团队?
看任何演示之前,先走一遍这个简短的流程:
- 列出决定。 写下团队凭数据做的每一个决定,谁来做、多久做一次。通常有十行。
- 写下每个决定能容忍的延迟。 问自己「如果这个数字是一小时前的,我们会做不同的决定吗?」答案是「不会」,这一行就归到更慢的一档。
- 给糟糕的一小时定价。 故障取每小时收入;欺诈取每个未发现案件的平均损失;上线取投放链接坏掉后每小时的花费。
- 数事故次数。 用去年真实发生的事故,不要靠猜。如果一次都没有,这本身也是信息。
- 对你能买的每一档,跑一遍成本一节里的盈亏平衡。
- 从比你想的更慢的一档开始。 每小时刷新以后很容易提速;流式合同就不那么容易退回来。
示例数据:一个团队列出 10 个决定。七个能容忍一天,两个能容忍一小时(排班和活动节奏),一个,也就是结账健康度,只能容忍几分钟。结论是:大部分用每日批处理,只为需要它的那一行配一个小的实时或每小时告警,而不是为这十个决定都上流式平台。
比较平台时该核对什么?
宣传页引用的是最理想情况下的延迟。改问这些具体的问题:
| 问题 | 为什么重要 |
|---|---|
| 在你的峰值量下,从事件到查到结果的延迟是多少? | 延迟常随负载增长 |
| 迟到和乱序的事件怎么处理? | 决定数字会不会在你读完之后又变 |
| 记录能更新或删除吗,还是只能追加? | 关系到更正和隐私请求 |
| 它能告警,还是只能展示? | 没人会整天盯着屏幕 |
| 价格怎么随量增长(事件、查询、存储)? | 便宜的试点可能变成昂贵的一个月 |
| 能导出原始数据吗? | 避免被锁定,也能核对总数 |
| 谁来运维:你,还是厂商? | 流式管道需要人来运营 |
要把这些和上面的决定表对照,而不是和别家的功能清单互相比。稍慢但能可靠告警的平台,通常胜过没人盯着的极快平台。
哪些错误最浪费钱?
- 为慢决定买速度。 成本示例里,每日报表月成本最低,但故障频繁时代价很高;流式很贵,除非每一小时的损失都很大。
- 把不完整的一天当成完整的一天。 会造成误报和虚惊。
- 把「实时」当成「正确」。 最先看到的数字只是草图,落定之后的才是记录。
- 每次小波动都告警。 实时指标本来就会波动;对真正重要的阈值告警,并在两次通知之间留出安静期。
- 忽略谁来盯。 没人负责响应,速度就白费了。
- 把延迟当成一个数。 摄取延迟、处理延迟、查询延迟要分开问。
在 TapCub 里怎么拿到实时数字?
拿上面表格里的上线和故障两种情形来说。TapCub 的实时视图是现成的报表,不是你自己搭的流式管道。
- 确认上线。 打开 网站统计 › 实时。「当前在线」统计最近五分钟内有事件的访客,页面还列出最近半小时的活跃页面和来源。发版或投放之后,自己访问一下页面,几秒内应该能在人类事件流里看到这次访问。
- 看正在发生什么。 事件流把人类和机器人分开,可以按页面浏览、自定义事件、外链点击、下载、表单和错误过滤,还能在阅读时暂停。每行显示时间、页面、来源、国家和设备,不显示 IP 地址。
- 看得更细。 点访客的详情,会在右侧打开 TA 最近一次会话,跟着看路径和事件;会话还在进行时,新的浏览几秒内就会出现。
- 把「我该去看看」变成告警。 在 全端分析 › 智能运营 › 监控 里,对错误率或错误数这类指标建一个检查。监控按小时、天、周或月检查,所以最快的节奏是每小时。试运行只计算不发送,并告诉你过去 30 天会触发几次。同一条告警默认大约每小时最多重复一次。监控只通知,不会替你做任何操作。
所以,分钟级的问题用实时页,「坏了告诉我」用每小时的监控,更慢的问题就看常规报表。TapCub 不提供可编程的流处理层。
常见问题
什么是实时分析平台?
它是在事件发生时就摄取、持续处理,并让你在几秒或几分钟内查询结果的软件,而不是等一个定时的批处理任务。典型组成是摄取、处理和快速查询的存储。
实时分析和准实时分析有什么区别?
实时通常指几秒到几分钟;准实时指一个短而规律的延迟,比如一小时。关键的问题是,你的决定会不会在这段间隔里改变。如果不会,较慢的一档更便宜,用起来一样。
我需要实时分析吗?
只有当看到数据就能在几分钟内改变一个决定时才需要:拦截欺诈、发现结账出故障、确认上线。定价、路线图和预算类的决定很少受益。用上面的决定表和盈亏平衡计算,代入你自己的数字。
实时数据准确吗?
它是暂定的。迟到的事件和去重会在你第一次看到之后改变总数,厂商也在文档里写明最终数字可能要一两天。拿不完整的时段去比其他日子的同一时段,不要比整天。
实时分析要花多少钱?
随数据量和架构差异很大,请用你自己的报价。方法上,把每月多花的钱和(每次事故节省的小时数 × 每小时损失 × 每月事故次数)比较。示例中,故障每小时损失高于约 3,444 美元时,流式才胜过每小时刷新。
另见:实时客户互动:触发、数据和示例。
资料来源
- IBM。What is real-time analytics?。定义、批处理与流式的对比、示例用途。
- Google。Data freshness, Google Analytics Help。按数据时间间隔列出的延迟,以及 24 到 48 小时处理的说明。
这篇文章对你有帮助吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。

