TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

数据分析计划:怎样在打开数据之前写好它

数据分析计划在看到结果之前,就把问题、指标、对比、分群、检验和决策规则定下来。八行模板,用注册下降的例子填好并真算一遍。

卢卡斯·海斯 发布于 2026 年 11 月 20 日 9 分钟阅读 数据分析
示例数据:注册率从 4.00%(31,000 人中 1,240)降到 3.20%(33,000 人中 1,056),z = 5.44。0.80 个百分点的下降,按 33,000 访客折合 264 个注册:手机 160,桌面 89,约 15 个来自手机访客占比变大。示例数据

数据分析计划,是在看到结果之前写下的一页说明:问题、指标、数据和时期、对比、分群、检验和决策规则。先写,能防止各个选择朝着你希望的答案漂移。下文给出八行模板,用注册下降(4.0% 到 3.2%)的例子填好并真算一遍。

读完你会知道

  • 在打开数据之前写好问题、指标、对比、分群、阈值和决策规则,任何改动都要记下原因
  • 提前定好分群清单:在 0.05 下检验 20 个拆分,至少一次误报的概率是 64.2%
  • 每份计划都要挂一个决策;没有决策规则的分析,结局是一张图,不是一个改变

什么是数据分析计划,为什么要在看数据之前写?

数据分析计划,是在你看结果之前写下的一份简短说明:要回答哪个问题、用哪些数字、怎样比较,以及根据答案会做什么。先写很重要,因为数据一旦打开,每个选择(哪个时期、哪个分群、哪种检验)都可能被不自觉地推向你希望的答案。

美国疾控中心(CDC)的评估指南把时机说得很直白:在「实施之前」就计划好数据分析和解读,分析计划至少写明要分析的数据、要做的分析、何时做、由谁做。分析之后,它要求你检查是否遵循了计划,并「记下你在哪些地方偏离了原计划,以及原因」(CDC)。整个纪律就是这两句话:先决定,再记录偏离。

本文给出一份一页纸就能填完的计划模板,再用一个常见问题填一遍:注册掉了,为什么?分析本身的步骤,见如何分析数据;把结果写成文档,见数据分析报告。

一页纸的数据分析计划包含什么?

八行。每行回答一个问题,留空的一行就是你还没做的决定。

行回答什么问题薄弱的写法扎实的写法
1. 问题我们想弄清什么?「看看注册」「11 月 3 日的发版之后注册率是否下降,对谁下降?」
2. 决策答案拿来做什么?没有「如果确认且集中,本迭代安排修复」
3. 指标到底数什么?「注册」「注册数 ÷ 不重复访客,同一时区」
4. 数据和时期来自哪里、哪些日期?「最近的数据」「统计数据,第 1–4 周对第 5–8 周」
5. 对比和什么比?「之前」「前四周对后四周」
6. 分群现在就定好哪些拆分?「看起来有意思的都拆」「只按设备(手机、桌面)拆,共两种」
7. 方法和阈值用哪种检验,怎样才算真的?「看着显著」「两比例 z 检验,α = 0.05 分摊到各分群」
8. 决策规则和负责人谁在什么结果下行动?「讨论」「只有手机掉了,负责人 A 开修复单」

第 2 行和第 8 行是人们最常跳过的,却是让计划有用的两行:没有挂决策的分析,产出的是一张图,不是一个改变。

算例:为注册下降填好的计划

示例数据:11 月 3 日发版之后,注册看起来变少了。下面是在打开任何分群之前写好的计划。

行内容
问题11 月 3 日发版之后注册率是否下降,对谁下降?
决策下降属实且集中在一种设备,本迭代安排修复;均匀分布,则先查流量质量
指标时期内 注册数 ÷ 不重复访客(两边同一口径)
数据和时期统计数据,第 1–4 周(前)对第 5–8 周(后)
对比前四周对后四周,星期对齐
分群只按设备:手机和桌面(共两种)
方法和阈值带合并估计的两比例 z 检验;总体 α = 0.05,所以两个分群各用 0.025
决策规则和负责人只有手机:网站负责人开修复单。两者都掉:产品负责人复查流程。都没掉:关闭事项。

方法这一行沿用 NIST 手册里的大样本检验:设样本一有 n₁ 个里 x₁ 个、样本二有 n₂ 个里 x₂ 个,合并比例是 (x₁ + x₂) ÷ (n₁ + n₂),z 是差值除以 √(p̂(1 − p̂)(1/n₁ + 1/n₂))(NIST 工程统计手册,7.3.3)。正态近似适用于样本相当大时,小样本 NIST 建议改用 Fisher 精确检验。

按计划运行后,结果是什么?

计数如下,全部是示例数据:

分群前:访客前:注册前:比率后:访客后:注册后:比率
手机13,0004683.60%16,0004162.60%
桌面18,0007724.29%17,0006403.76%
全部31,0001,2404.00%33,0001,0563.20%

把计划里的检验逐步算一遍,先算总体。合并比例:(1,240 + 1,056) ÷ (31,000 + 33,000) = 3.5875%。标准误:√(0.035875 × 0.964125 × (1/31,000 + 1/33,000)) = 0.1471 个百分点。差值:4.00% − 3.20% = 0.80 个百分点。所以 z = 0.80 ÷ 0.1471 = 5.44,双侧 p 值约为 5 × 10⁻⁸。总体下降是真实的,而且相对幅度很大:每个访客的注册少了 20.0%。

再看预先定好的分群,各自对照 0.025 的阈值:

  • 手机:3.60% 降到 2.60%,z = 4.93,p ≈ 8 × 10⁻⁷。显著。
  • 桌面:4.29% 降到 3.76%,z = 2.49,p ≈ 0.013。在 0.025 下显著。

计划里没写、但细心的分析者会补的一项检查是构成。手机访客占比从 41.9% 升到 48.5%,而手机转化更差,所以下降里有一部分是构成变化。把 0.80 个百分点的下降拆开:比率效应(各分群比率变化,按后期构成加权)是 −0.755 个百分点,构成效应是 −0.045 个百分点,合计 −0.80。折成注册数:手机少了 160 个(1.00 个百分点 × 16,000),桌面少了 89 个(0.52 个百分点 × 17,000),构成约占 15 个,合计 264 = 0.80 个百分点 × 33,000。决策规则说两种设备都掉了,所以由产品负责人复查流程,先看手机,因为它少掉的注册几乎是桌面的两倍。

app.tapcub.com

少掉的 264 个注册来自哪里

示例数据,注册数
手机比率下降160
桌面比率下降89
向手机偏移(构成)15
示例数据
示例数据:注册率从 4.00%(31,000 人中 1,240)降到 3.20%(33,000 人中 1,056),z = 5.44。0.80 个百分点的下降,按 33,000 访客折合 264 个注册:手机 160,桌面 89,约 15 个来自手机访客占比变大。

为什么要在看之前选好分群?

每多拆一刀,噪声被当成发现的机会就多一次。如果你在 α = 0.05 下检验 k 个独立的拆分,仅凭运气至少有一个「显著」的概率是 1 − 0.95^k:

检验的拆分数至少出现一次误报的概率
15.0%
522.6%
1040.1%
2064.2%

最简单的修正是 Bonferroni:用 α 除以这一组比较的个数。美国教育统计中心(NCES)的技术文档给出同样的算术:四次比较时 α = 0.05 ÷ 4 = 0.0125,并指出比较个数从 1 增加到 4 时,临界值从 1.960 升到 2.498,提高了 27.4%(NCES)。在算例里,桌面的 p 值 0.013 通过了计划里 0.025 的阈值。如果事后切成四种拆法,它就过不了 0.0125 的阈值。同样的数据,不同的结论:这就是为什么分群清单要先写。

在 α = 0.05 下检验的拆分数至少一次误报的概率每个拆分的 Bonferroni 阈值
15.0%0.0500
522.6%0.0100
1040.1%0.0050
2064.2%0.0025

误报概率 = 1 − 0.95^k(k 个独立拆分);阈值是 α ÷ k,即 NCES 描述的 Bonferroni 方法(2026-11-20 核对)。

多少数据才够?

计划应该写明值得行动的最小变化,以及能检出它的样本量。用标准的两比例近似,在 α = 0.05、检验效能 80% 下,要检出从 4.0% 降到 3.2%,每个时期约需 8,511 个访客。算例里有 31,000 和 33,000,足够。要检出从 4.0% 降到 3.6%,每个时期约需 35,864,比两个时期的数据都多,所以这么小的下降,当时是检不出来的。把你愿意行动的最小变化写进第 7 行;数据检不出来,就在开始之前延长时期,而不是之后。

计划和数据对不上怎么办?

会遇到三种情况,计划里每种都该有一行:

  • 结果明显对应决策规则的某个分支。照做,结束。
  • 出现了计划之外、看起来有意思的东西。标成探索性发现,单独写下来,不要声称显著。另外计划一次有自己阈值的后续检验。
  • 必须改计划。在分析之前书面修改,写明原因,并告诉将使用结果的人。CDC 的清单要求的就是这个:记下偏离及其原因,并在分析开始前共享这个变更。

数据分析计划的常见错误

  • 没挂决策。没有决策规则的计划,结局是一场讨论,不是一个行动。
  • 指标定义了两次。「注册率」这周用访客、下周用会话,会造出一个假的下降。
  • 对比不同类的时期。节假日那周对普通那周,不是前后对比。
  • 事后切分。见误报概率表。
  • 忽略构成。分群占比的变化会表现得像比率变化,15 个注册的构成效应就是例子。

在 TapCub 里如何执行这份计划

上面的算例用的计数,TapCub 可以直接提供。检验本身,用上面的公式在表格里几格就能算。

  1. 确认事件在正常到达。在 全端分析 › 数据管理 › 埋点方案 里,检查注册事件在列表中,并且在打开实时验证后,它最近的到达数和必填属性看起来完整。事件坏了,看起来就像下降。
  2. 建两次漏斗。在 全端分析 › 行为分析 › 行为分析 里,分别为第 1–4 周和第 5–8 周建注册漏斗,一次一个时期,再把两个结果并排放。每次运行给出各步人数和步转化率。
  3. 按设备拆。给每次运行加一个设备筛选,得到表里手机和桌面的计数。
  4. 标记发版。在 配置 › 日期标注 里给 11 月 3 日加一条标注,让读趋势的人看到计划锚定的日期。
  5. 探索性部分交给 AI 助手。在 全端分析 › 智能运营 › AI 助手 里问什么变了;它的变化归因会按渠道、来源域名、国家、设备和着陆页拆解变化。除非计划里有,否则把它找到的东西当作探索性发现。
  6. 之后持续监控。在 全端分析 › 智能运营 › 监控 里给注册率建一个监控;试运行会告诉你近 30 天里它会触发几次。

TapCub 不替你写计划、选检验或判断什么算显著;计划是你的,TapCub 提供计数、拆分和标记。

常见问题

什么是数据分析计划?

它是在看结果之前写下的说明:问题、指标、数据和时期、对比、分群、检验和阈值,以及每种结果下你要做什么。CDC 建议在实施前计划分析,并在之后记下偏离。

数据分析计划应该包含什么?

按 CDC 清单,至少要有:要分析的数据、要做的分析、何时做、由谁做。实际中再加上指标定义、分群、阈值和决策规则。

数据分析计划和数据分析报告有什么区别?

计划写在分析之前,说明你将如何决定;报告写在之后,说明你发现了什么。把两者对照,就能看出你有没有改变方向,这正是计划的意义。

计划比较多少个分群合适?

决策需要几个就几个。如果你在 0.05 下检验 k 个独立拆分,至少一次误报的概率是 1 − 0.95^k:5 个是 22.6%,20 个是 64.2%。检验多个时,用 α 除以拆分个数。

要检出注册下降,需要多少数据?

从 4.0% 降到 3.2%,在 α = 0.05、效能 80% 下,每个时期约 8,511 个访客;从 4.0% 降到 3.6%,约 35,864。变化越小,需要的数据越多。

资料来源

  • 美国疾控中心,「Step 5 Checklist」(评估框架行动指南):在实施前计划分析、最少包含的内容、记下偏离。https://cdc.gov/evaluation/php/evaluation-framework-action-guide/step-5-checklist.html (2026-11-20 核对)
  • NIST/SEMATECH 统计方法电子手册,7.3.3 节,比较两个比例:合并估计、z 统计量、大样本条件、小样本用 Fisher 精确检验。https://www.itl.nist.gov/div898/handbook/prc/section3/prc33.htm (2026-11-20 核对)
  • 美国教育统计中心,「Bonferroni procedure」:α 除以比较个数,四次比较为 0.0125,临界值 1.960 升到 2.498。https://nces.ed.gov/nationsreportcard/tdw/analysis/2000_2001/infer_multiplecompare_bonfer.aspx (2026-11-20 核对)
归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

卢卡斯·海斯

数据工程师

聚焦事件设计、数据质量与采集流程,分享可验证的实施方法,帮助团队建立可靠的分析基础。

拿到计划所需的计数

分时期的漏斗、设备筛选和发版标注都在同一个项目里,计划里的表格几乎能自己填完。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie