TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

量化研究例子:问题、样本与检验

好的量化研究例子要写明问题、样本和检验:三个已发表的设计、一个问卷样本量计算和一个两组比较,全部可以复算,另附六步设计流程。

卢卡斯·海斯 发布于 2026 年 11 月 19 日 9 分钟阅读 数据分析
示例数据:两行里观测到的差距都是 10.0% 对 12.0%。每组 2,000 时,差异的 95% 区间是 0.06 到 3.94 个百分点;样本减半后差距不变,证据却没有了。示例数据

好的量化研究例子要写明三件事:问题、样本和检验。缺了它们,一个百分比只是轶事。下面讲三个已发表的设计、一个问卷样本量计算(±5 个百分点需要 385 份回答)、一个同样 2 个百分点的差距可以是 p = 0.043 也可以是 p = 0.153 的两组检验,以及六步设计流程。

读完你会知道

  • 一个例子只有写明问题、明确界定的群体和对照,才算研究
  • 385 份样本在 95% 置信水平下约 ±5 个百分点;±3 个百分点需要 1,068 份
  • 同样 2 个百分点的差距,4,000 名访客时显著(p = 0.043),2,000 名时不显著(p = 0.153)

什么是量化研究?

量化研究用数字回答问题:在一个明确界定的群体里测量某样东西,再用统计学判断这个结果能信到什么程度。先有问题(谁、什么、多少),再有样本,最后才是检验。缺了这三部分的例子,比如「我们调查了一些客户,大多数人喜欢」,只是一条带着百分比的轶事。

本文展示好的例子是什么样子,用你能复算的数字走通其中两个,并给出六步设计流程。关于数据本身,见 定量数据;什么时候该加访谈和开放式回答,见 定性数据与定量数据。

真实的量化研究例子是什么样的?

每一种设计回答的是不同类型的问题。下表把设计和已发表的或示意性的例子配在一起。

设计它回答的问题例子
随机实验是这个导致了那个吗?俄勒冈健康保险实验:2008 年,低收入的无保险成年人通过抽签获得申请医疗补助的机会,所以是抽签产生了两组人。一年后,中签者拥有保险的可能性高出约 25 个百分点
准实验变化落到的地方,与没落到的地方,各发生了什么?Card 和 Krueger 比较了新泽西州 410 家快餐店(1992 年 4 月 1 日最低工资从 4.25 美元涨到 5.05 美元)和宾夕法尼亚州的快餐店(仍是 4.25 美元),涨价前后各调查一次。相对宾夕法尼亚州,新泽西州的就业上升了约 13%
队列研究什么能预测长期的结果?弗雷明汉心脏研究:从 1948 年起跟踪马萨诸塞州弗雷明汉的 5,209 名成年人,每两到六年检查一次,把吸烟、胆固醇和血压与心脏病联系起来
调查某件事在总体里有多普遍?一次抽样的客户调查:「有多大比例的人每周使用功能 X?」(下面有算例)
网页 A/B 测试哪个版本转化更好?把两个页面版本随机展示给两半访客(下面作为对比算例)

留意这三个已发表的例子的共同点。每一个都有一个问题、一个明确界定的群体和一个对照,没有一个靠「自己选择了它的人」作对照组。这才是研究和报告的区别。

哪种设计能支撑力度最大的结论?

让结论和设计相匹配,从因果证据力度最大到最弱:

设计能支撑「X 导致了 Y」吗?主要弱点
随机实验能,只要分配是随机的,且各组保持完整成本,以及中途退出的人
准实验有时能,只要对照组可信变化之前两组可能就不一样
队列研究很少;它显示的是随时间的关联隐藏的第三个因素
调查不能;它描述的是某件事有多普遍谁回复了,以及人们怎样理解问题

如果你只有一份调查,就写「与……相关」,不要写「导致」。如果你想要强结论,一开始就要规划好分配;数据收集完之后,这件事无法补上。

怎样设计问卷并确定样本量?

示例数据:一家软件公司有 20,000 名客户,问:「有多大比例的人至少每周使用一次功能 X?」它希望答案的误差在 ±5 个百分点内,置信水平 95%。

一个比例的误差范围是 E = 1.96 × √(p × (1 − p) ÷ n)。问之前你不知道 p,所以取 p = 0.5,这会让 p × (1 − p) 取到最大(0.25),得出偏保守的样本量:

n = 1.96² × 0.25 ÷ 0.05² = 3.8416 × 0.25 ÷ 0.0025 = 384.16,向上取整为 385 份回答。

验算:n = 385、p = 0.5 时,E = 1.96 × √(0.25 ÷ 385) = 0.0499,约 ±5 个百分点。更精确的结果代价高得多:±3 个百分点需要 1.96² × 0.25 ÷ 0.03² = 1,067.1,即 1,068 份回答,接近三倍。

再看回复率。很少有人回复。如果受邀客户里有 25% 作答,385 份回答需要 385 ÷ 0.25 = 1,540 份邀请。更大的风险不在数量,而在谁回复:如果热心的用户回复得更多,使用功能 X 的比例就会被高估,而公式里的 ±5 个百分点并不覆盖这种偏差。把回复者的构成(套餐、使用时长、地区)和客户总体对照,或者对没回复的人抽样追访。

误差范围需要的回答数回复率 25% 时的邀请数
±10 个百分点97388
±5 个百分点3851,540
±3 个百分点1,0684,272

95% 置信水平,p = 0.5,简单随机抽样;向上取整。

怎样比较两组,为什么样本量决定结果?

示例数据:一次页面测试把版本 A 展示给随机选出的 2,000 名访客,把版本 B 展示给另外 2,000 名。A 转化 200 次(10.0%),B 转化 240 次(12.0%)。

问题是:如果两个版本其实完全一样,2 个百分点的差距会不会只是偶然出现?从零假设「没有差异」出发,做一次两比例 z 检验:

  • 合并比率:(200 + 240) ÷ 4,000 = 11.0%。
  • 标准误:√(0.11 × 0.89 × (1/2,000 + 1/2,000)) = 0.00989。
  • z = (0.12 − 0.10) ÷ 0.00989 = 2.02。
  • 双侧 p 值约 0.043,低于通常的 0.05 门槛。
  • 差异的 95% 置信区间(非合并):2.0 ± 1.96 × 0.989 个百分点,即 0.06 到 3.94 个百分点。

现在保持比率不变,把样本减半:每组 1,000 名访客,转化 100 次对 120 次。标准误升到 0.0140,z 降到 1.43,p 升到 0.153。同样的观测差距,却没有证据。教训是:「B 胜过 A」取决于你数了多少人,而区间 0.06 到 3.94 个百分点,比「B 好 2 个百分点」更诚实。相关概念见 假设检验、p 值 和 统计功效。

app.tapcub.com

页面测试:A 对 B,比率相同

示例数据
样本转化 A / Bzp 值
每组 2,000200 / 2402.020.043
每组 1,000100 / 1201.430.153

z = (12.0% − 10.0%) ÷ 标准误,双侧检验。

示例数据
示例数据:两行里观测到的差距都是 10.0% 对 12.0%。每组 2,000 时,差异的 95% 区间是 0.06 到 3.94 个百分点;样本减半后差距不变,证据却没有了。

怎样分六步设计一项量化研究?

  1. 写出问题,让它能用一个数字来回答:「版本 B 会不会提高开始试用的访客比例?」,而不是「B 更好吗?」。
  2. 界定总体以及怎样抽样。 谁算数,你怎样才能接触到其中公平的一部分?
  3. 精确定义每一个度量。 「活跃」到底指什么:一次会话、一个事件,还是七天?收集之前就写下来。
  4. 从例子表里选设计:能分配人群就做实验,不能就找对照组,需要知道普遍程度就做调查。
  5. 先写分析计划:用什么检验、什么门槛、最小样本量。看到数据之后再选检验,容易找到你希望找到的结果。
  6. 列出威胁,以及你对每一项打算怎么办。
威胁它的样子怎么办
选择偏差选择了这个功能的人和没选的人本来就不同随机分配,或拿同类比同类;见 选择偏差
无回应热心的用户回答,其他人沉默提高回复率,把回复者和总体对照
混杂第三个因素同时驱动原因和结果控制它,或在子群内比较
样本太小真实的差距看起来像偶然事先算好样本量
做了很多检验,只挑一个赢家测二十件事,总有一件靠运气通过事先定好要做哪些检验,并按做的次数校正

哪些错误会削弱量化研究?

  • 只报百分比,不报基数。 「60% 同意」,如果没有「共 12 位回复者」,意义不大。
  • 把相关当成因果。 使用某个功能的人,可能只是本来就更活跃。
  • 看了数据再选检验。 先固定分析计划。
  • 把 p < 0.05 当成证明。 示例里,同样 2 个百分点的差距,4,000 名访客时 p = 0.043,2,000 名时是 0.153。
  • 不管是谁回复的。 样本量公式覆盖的是偶然,不是偏差。
  • 结果一看着不错就停。 样本量要事先定好。

怎样把 TapCub 的数据用在量化研究里?

TapCub 不做显著性检验、实验或问卷。它给你的是行为的观察性计数,适合队列式的问题。以这个为例:「第一周使用功能 X 的访客,是否更常回来?」

  1. 精确定义事件。 约定什么算使用功能 X,并确保它作为事件被记录,例如在 全端分析 › 数据管理 › 埋点方案 里。
  2. 比较两组。 在 全端分析 › 行为分析 › 行为分析 里用留存,看每一组人在之后各期有多少回来,两组按有没有做过这个事件来划分。
  3. 查组的大小。 小组波动很大;在读差异之前,先用上面的样本量推算。
  4. 把计数取出来做检验。 用 全端分析 › 行为分析 › 自定义指标与 SQL 查出数字,或者用 全端分析 › 数据管理 › 数据导出 里的导出,再到统计工具里做检验。
  5. 说明局限。 人们是自己选择使用这个功能的,所以差距可能反映的是他们是谁,而不是功能起了什么作用(选择偏差)。要确立因果,需要把功能随机分配;TapCub 不做流量分流,也不做 A/B 测试。

常见问题

量化研究有哪些例子?

随机实验,比如俄勒冈健康保险实验;准实验,比如 Card 和 Krueger 的最低工资研究;队列研究,比如弗雷明汉心脏研究;抽样调查和网页 A/B 测试。它们都有一个问题、一个明确界定的群体和一个对照。

量化研究的主要类型有哪些?

实验设计由研究者把人分到各组;准实验设计比较受变化影响和未受影响的群体;观察性设计,如队列研究和调查,测量已经存在的情况。你对分配控制得越多,关于因果的结论就越有力。

样本量应该多大?

取决于你想要的误差范围和置信水平。对一个比例,n = 1.96² × 0.25 ÷ E²:95% 置信水平下,±5 个百分点需要 385 份回答,±3 个百分点需要 1,068 份。除以预期回复率,就得到邀请数。

问卷调查算量化研究吗?

算,只要它用固定的选项或数字量表、明确的总体和抽样方法,并报告计数或比例。开放式回答的调查属于定性研究,除非把答案编码后再计数。

量化研究和定性研究有什么区别?

量化研究测量一个明确界定的群体里「有多少」,并对结果做统计检验;定性研究通过访谈或观察探索「为什么」和「怎么样」。许多研究两者并用:用数字发现规律,用交谈解释它。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

卢卡斯·海斯

数据工程师

聚焦事件设计、数据质量与采集流程,分享可验证的实施方法,帮助团队建立可靠的分析基础。

为你自己的问题取得计数

事件追踪、按组的留存、SQL 查询和原始导出,供你在统计工具里做分析。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie