一句话回答
数据收集是为回答一个问题,对你所关心的变量有计划、系统地收集信息。收集之前,先定每个字段会改变哪个决策、怎么记录、依据是什么。
数据收集是什么意思
数据收集是有计划、系统地收集你所关心的变量的信息,以便回答一个问题。NNLM(美国国家医学图书馆网络)的数据术语表把它描述为对感兴趣的变量有计划、系统地收集信息,方法从手工到自动都有:问卷、访谈、仪器读数、录音录像,以及从系统里提取的记录(NNLM)。
这个定义里有三个词很关键:
- 有计划。 收集之前就决定收什么。「以防万一,什么都收」是存储,不是收集。
- 系统。 同一件事每次都用同一种方式记录,这样取值才能比较。
- 感兴趣的变量。 每一项之所以存在,是因为某个问题需要它。
在网站上,这通常指记录访问、点击和转化的脚本和服务端调用;在企业里,还包括表单、问卷、客服对话,以及从其他系统导入。
一手数据、二手数据和自有数据
| 类型 | 它是什么 | 例子 | 主要风险 |
|---|---|---|---|
| 一手(primary) | 你为这个问题自己收集 | 你自己的追踪事件、你发出的问卷 | 成本和时间;设计错误算你的 |
| 二手(secondary) | 别人早先收集的 | 公开统计、买来的样本面板、合作方的报告 | 口径可能和你的不一致 |
| 自有(first-party) | 你从自己的用户那里收集 | 网站统计、账户数据、聊天记录 | 同意和安全由你负责 |
| 第三方(third-party) | 别人跨站点收集 | 广告网络的受众 | 对质量和合法依据几乎没有控制 |
| 零方(zero-party) | 用户主动给出 | 你在表单里选择的偏好 | 数量少;自报有偏差 |
同一份数据可以同时是一手数据和自有数据。收集之前,先看二手数据是不是已经回答了这个问题;如果已经回答,也许根本不用收集。
收集之前要问的五个问题
- 这会改变哪个决策? 说不出来,就不要收。
- 具体是哪些字段? 每个字段都写清类型、允许的取值和一个例子。
- 怎么记录? 浏览器脚本、服务端调用、表单、导入还是问卷;每种的缺口不同。
- 依据是什么、怎么告知? 欧盟 GDPR 要求个人数据为特定、明确、合法的目的而收集,并限于这些目的所必需(GDPR 第 5 条)。以同意为依据时,控制者必须能证明当事人同意了(GDPR 第 7 条)。这只是概述,不是法律意见。
- 保留多久? 第 5 条还规定,以可识别形式保存数据的时间不得超过必要的期限。在规划收集时就定好保留期,而不是等存储账单来了再定。
一行计划可以像下面这样短,每个字段一行:
| 字段 | 类型 | 允许的取值 | 它改变的决策 | 负责人 | 保留多久 |
|---|---|---|---|---|---|
| referral_source | 文本 | utm_source 的值,或「direct」 | 该投入哪个渠道 | 增长负责人 | 13 个月 |
如果一行填不满,这个字段就还没准备好收集。
算例:把注册表单从 14 项砍到 8 项
示例数据:一个团队规划新闻邮件的注册表单,列出 14 个数据点,并为每一项写出它会改变的决策。
| 数据点 | 它改变的决策 | 保留? |
|---|---|---|
| 邮箱 | 往哪里发 | 是 |
| 名字 | 邮件里的称呼 | 是 |
| 国家 | 语言和发送时间 | 是 |
| 来源渠道 | 该投入哪个渠道 | 是 |
| 感兴趣的主题 | 发哪类内容 | 是 |
| 公司规模 | 放哪些案例 | 是 |
| 同意时间戳 | 取得许可的证明 | 是 |
| 注册页面 | 哪个页面转化好 | 是 |
| 姓、手机号、出生日期、性别、邮编、职位 | 没有能说出的决策 | 否 |
复算:保留 8 项(邮箱、名字、国家、来源渠道、主题、公司规模、同意时间戳、注册页面),去掉 6 项,所以 14 − 8 = 6,6 ÷ 14 = 少了 43% 的字段。
每去掉一个字段,就少一项要保护、要在被请求时导出、要删除的东西。判断规则:如果没有人能说出某个字段改变的决策,就把它从表单里去掉,而不是写进隐私声明。
还要为第二个效应做计划:覆盖率。如果有 10,000 次访问,62% 的访客同意被衡量,系统记录的是 10,000 × 62% = 6,200。如果其中数到 186 次转化,观察到的比率是 186 ÷ 6,200 = 3.0%。这个数字描述的是同意了的访客,它对全体访客的估计,只和两组人有多相似一样可靠。把覆盖率和比率一起报告。
常见误区
- 先收集,之后再决定。 没用上的字段同样需要保护,当事人也同样可以请求查看。
- 同一件事用不同的名字或格式记录。 无法比较的取值谈不上系统。参见 埋点方案。
- 忽略「收集到的」和「完整的」之间的差距。 广告拦截、同意选择和机器人,都会改变脚本看到的东西。
- 测试数据和真实数据混在一起。 内部访问和机器人不过滤就会抬高计数。
- 把原始数据当成成品。 原始数据 需要清洗和定义,才能支撑一个结论。
- 不写下定义。「注册」可能指看了表单、提交了表单,或确认了邮箱。写明是哪一种,否则两个团队会用同样的数据报出不同的数字。
- 默认永远保留。 为每份数据集设定保留期。
上面这份精简清单背后的原则,见 数据最小化。
在 TapCub 里规划数据收集
用注册的例子,把计划放进 TapCub。
- 先写计划。 全端分析 › 数据管理 › 埋点方案 记录你打算收集的事件,包括还没发出的,含触发时机、属性(名称、类型、是否必填、示例)、负责人,以及从待评审到已上线的状态。在开发上线之前,先加上
newsletter_signup和它的属性。 - 选择数据怎么进来。 网站脚本、移动端或小程序 SDK、服务端调用和导入,在同一个项目里。自动采集是有意限制的:表单提交只记录表单 id、name 和 action,从不记录输入的内容。
- 设定隐私级别。 配置 › 合规中心 里有采集档位。档位 1 是匿名汇总数据、没有持久 ID;默认是档位 2。对欧洲经济区和英国,默认规则要求取得同意,没有分析用途的同意时采集降到档位 1,此时浏览量和自定义事件仍然会记录。中国模式下,同意之前不采集任何东西。保留期和数据主体请求(导出和删除)也在同一处。这是配置,不是法律意见。
- 验证到达了什么。 在埋点方案里打开实时验证,看每个事件近 24 小时的到达数和必填属性的完整度,并到 全端分析 › 数据管理 › 数据质量 查看拒收和警告。
- 把机器人挡在外面。 已知的机器人和 AI 爬虫单独统计,所以你读到的比率描述的是真人。
TapCub 不替你决定需要收集什么,也不判断你有没有合法依据;它记录你规划的内容,并显示它有多完整。
资料来源
- NNLM(美国国家医学图书馆网络),Data glossary: Data Collection。
- GDPR,第 5 条:个人数据处理的原则。
- GDPR,第 7 条:同意的条件。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
