一句话回答
数据处理是把原始数据变成可用结果的一连串步骤:收集、清洗和检查、转换、存储,最后呈现输出。在分析里,它把原始请求变成访客、会话和报表。
什么是数据处理?
数据处理是把原始数据变成可用结果的一连串步骤:收集、检查和清洗、转换、存储,最后呈现结果。一次按钮点击是原始数据;“上周手机访客的转化率是 5.0%”是处理后的结果,两者之间的全部工作就是数据处理。
“处理”这个词并不意味着一定要用计算机,也没有规模要求。人工统计问卷是在处理数据,每天处理上百万事件的流水线也是。决定它的是方向:从杂乱、没有组织的输入,到能回答问题的有组织输出。
再说一个含义:在隐私法里,“处理”的范围宽得多。欧盟 GDPR 第 4(2) 条把它定义为对个人数据的任何操作,包括收集、存储、使用或删除。人们说“数据处理协议”,指的是这种法律含义。本页讲的是分析领域的含义;法律含义请直接看 GDPR 条文。
数据处理有哪些步骤?
| 步骤 | 做什么 | 解决的典型问题 | 例子(网站统计) |
|---|---|---|---|
| 1. 收集 | 从来源抓取原始数据 | 来源缺失、重复发送 | 脚本或 SDK 发送一次页面浏览 |
| 2. 准备(清洗) | 删除、修正或标记坏记录 | 机器人、测试流量、格式错误或重复的行 | 去掉爬虫流量;拒绝没有事件名的数据包 |
| 3. 输入 | 把清洗后的数据装入处理系统 | 格式不匹配 | 把记录解析成时间、事件、访客和属性 |
| 4. 处理 | 转换、关联、分组和计算 | 原始行不是答案 | 把页面浏览合成会话;按天统计访客 |
| 5. 输出 | 以表格、图表或导出文件呈现结果 | 没人看得懂的数字 | 仪表盘、定期报表、导出文件 |
| 6. 存储 | 按保留规则保存原始数据和处理结果 | 成本、隐私、可审计 | 保留每天的汇总;超过保留期后删除原始行 |
顺序并不总是严格的。存储发生在好几个环节(原始数据通常在清洗前就保存了),很多系统还会循环:在输出里发现错误,就回到收集环节。准备环节的细节见数据准备;在系统之间搬运数据见 ETL 和数据管道。
算例:从 10,000 次请求到访客数
示例数据:一天里到达采集端点的流量。
| 阶段 | 记录数 | 发生了什么 |
|---|---|---|
| 收到 | 10,000 | 原始请求 |
| 减去已识别的机器人 | − 1,400(14.0%) | 爬虫和真人分开 |
| 减去无效数据包 | − 90(0.9%) | 字段缺失、域名不符、被限流 |
| 干净的真人请求 | 8,510 | 10,000 − 1,400 − 90 |
| 合成会话 | 3,404 | 8,510 ÷ 每会话 2.5 页 |
- 1,400 ÷ 10,000 = 14.0% 的原始请求是机器人,所以把原始请求当作访客,会让真人流量被高估 10,000 ÷ 8,510 − 1 = 17.5%。
- 90 ÷ 10,000 = 0.9% 不可用。占比很小,但值得盯着:如果跳到 9%,说明埋点坏了,而不是受众变了。
- 8,510 次真人请求,按每会话 2.5 页,得到 3,404 个会话。会话的定义规则一变,这个数就变,所以规则必须写下来。
要点:同一份原始数据,运行的处理步骤不同,结果可以是 10,000、8,510 或 3,404。不带处理规则的指标,没有可比性。
批处理和实时处理有什么区别?
| 批处理 | 流处理(实时) | |
|---|---|---|
| 怎么运行 | 攒一段时间,再一次处理全部 | 每条记录到达就处理 |
| 典型延迟 | 几分钟到一天甚至更久 | 几秒 |
| 优点 | 高效;容易重跑和修正 | 即时;适合监控 |
| 缺点 | 两次运行之间数据是旧的 | 迟到或乱序的数据更难修正 |
| 适用 | 日报、计费、对账 | 实时看板、告警、欺诈检查 |
很多系统两条路都走:一条快路径回答“现在发生了什么”,一条更慢但更完整的路径产出你明天要依赖的报表。Akidau 等人(2015)的 Dataflow Model 论文是在同一个设计里思考两者的标准文献。事件发生到出现在报表里之间的延迟,就是数据延迟。
数据处理有哪些类型?
- 手工:人用手做(表格里计数)。慢、易错,数据量很小时可以。
- 机械 / 电子:软件或机器自动执行固定步骤。
- 批处理和流处理:见上文。
- 分布式:把工作拆到很多机器上;MapReduce(Dean 和 Ghemawat,2004)是经典描述。
- 事务型(OLTP)和分析型(OLAP):前者可靠地记录单个事件(一个订单);后者汇总很多事件(每周订单数)。
数据处理中会出什么问题?
- 清洗没有记录。删了行却没记删了多少,就没人能解释这周的总数为什么变了。
- 混用原始计数和处理后的计数。“请求”“会话”和“访客”是不同阶段,标注很重要。
- 悄悄改规则。改机器人名单或会话规则会让历史数据跟着变;记下日期。
- 先处理、后定问题。过度汇总会丢掉你以后需要的细节。在政策允许的范围内保留原始数据。
- 忽略迟到的数据。移动端事件几小时后才发来,如果管道不按事件发生时间处理,就会落到错误的日期。
- 个人数据保留得比需要更久。保留期是处理的一个环节,不是事后补充的。
TapCub 怎么处理分析数据?
沿用 10,000 次请求的例子,下面是每个步骤在 TapCub 里发生的位置:
- 收集。网站脚本、iOS、Android、Flutter、React Native 或鸿蒙 SDK、小程序 SDK,或者服务端 HTTP 接口发送事件。统计脚本默认不写 Cookie,地址在存储前会被截断。
- 过滤。已识别的机器人和 AI 爬虫只计入 网站统计 › 机器人,不会进入真人访客数。 全端分析 › 数据管理 › 数据质量按原因列出采集端的拒收,比如域名不符、排除规则、额度、限流、无效数据包和机器人。
- 校验。状态为已屏蔽的事件在存储前就被丢弃。属性字典里的校验规则可以只警告、丢弃属性、屏蔽事件或放入隔离区。带实时验证(近 24 h)的埋点方案能看到计划中的事件是否完整到达。
- 汇总。报表读取处理后的事件,计数方式有访客、设备和个人三种。按天的汇总不含个人数据,也不按原始数据的保留期删除。
- 输出和存储。用图表和报表得到答案;用 全端分析 › 数据管理 › 数据导出创建异步的原始数据导出;项目的隐私和保留设置决定原始行保留多久。 网站统计 › 实时在几秒内显示最近 5 分钟活跃的人,而在 监测 › 搜索表现连接的搜索引擎数据通常晚一到三天,所以不要把这两条时间线放进同一次对比。
TapCub 没有给自定义转换用的管道编辑器;它的处理规则就是上面这些设置。
资料来源
- 欧盟,Regulation (EU) 2016/679 (GDPR),第 4(2) 条“processing”。
- Akidau, T. et al. (2015). The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost in Massive-Scale, Unbounded, Out-of-Order Data Processing. Proceedings of the VLDB Endowment, 8(12), 1792–1803.
- Dean, J., & Ghemawat, S. (2004). MapReduce: Simplified Data Processing on Large Clusters. OSDI '04.
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
