一句话回答
置信区间是样本排除不了的真实值范围。4,000 位访客里 120 人转化(3.0%)时,95% 区间约为 2.51% 到 3.58%。95% 描述的是方法:把研究重复很多次,每 100 个这样的区间里约有 95 个包住真实值。
公式: p̂ ± z × √(p̂ × (1 − p̂) ÷ n),95% 时 z = 1.96(Wald);样本小时用 Wilson
置信区间告诉你什么
置信区间(CI)把一个测得的数变成一段范围。你从 4,000 位访客里测到 120 次转化,观察到的转化率是 3.0%。但这只是你碰巧遇到的那批访客的转化率,换一批 4,000 位访客,可能是 2.8%,也可能是 3.2%。区间(这里是 2.51% 到 3.58%)就是这个样本排除不了的真实转化率范围。
「95%」说的是方法,不是眼前这一个区间。把整个研究重复很多次,每次都用同样的方法算一个区间,大约 100 个区间里有 95 个会包住真实值。单独一个区间,要么包住了,要么没包住,你无从得知。所以「真实转化率有 95% 的概率落在 2.51% 到 3.58% 之间」是常见的简化说法,严格来说并不准确。做决策时这个简化通常无害,前提是记住下一条:区间只反映抽样噪声。
影响区间宽度的有三件事:
- 样本量。 宽度随 n 的平方根缩小,访客数变成 4 倍,宽度减半。
- 比率离 50% 有多近。 接近 50% 的比率比接近 0% 或接近全部的更不稳定。
- 置信水平。 99% 的区间比 95% 的宽,因为它要更高概率地包住真实值。在 4,000 人 120 次转化的数据上,99% 的 Wilson 区间是 2.38% 到 3.78%,比 95% 的区间宽约 0.2 个百分点。
公式和转化率算例
对 n 位访客上测得的比例 p̂,最简单的算法(Wald 区间)是:
p̂ ± z × √(p̂ × (1 − p̂) ÷ n),95% 时 z = 1.96
示例数据:4,000 位访客里有 120 次转化。
- p̂ = 120 ÷ 4,000 = 0.030
- 标准误 = √(0.030 × 0.970 ÷ 4,000) = √0.00000728 = 0.002697,即 0.27 个百分点
- 误差范围 = 1.96 × 0.002697 = 0.00529,即 0.53 个百分点
- 区间 = 3.00% ± 0.53 = 2.47% 到 3.53%
Wilson 区间(NIST/SEMATECH 电子手册把它作为标准比例检验在代数上的对应形式)会同时调整中心和宽度。同样的数据,它给出 2.51% 到 3.58%。访客有 4,000 位时,两种算法相差不到 0.05 个百分点;样本很小时就不一样了,下一节会看到。
同样 3.0% 的转化率在三种样本量下的区间(示例数据,Wilson 95%):
| 访客数 | 转化数 | 转化率 | 95% 区间 | 宽度 |
|---|---|---|---|---|
| 400 | 12 | 3.0% | 1.72% 到 5.17% | 3.45 个百分点 |
| 4,000 | 120 | 3.0% | 2.51% 到 3.58% | 1.07 个百分点 |
| 40,000 | 1,200 | 3.0% | 2.84% 到 3.17% | 0.33 个百分点 |
流量变成 10 倍,宽度缩小到约 1/3.2,也就是 10 的平方根。要提前规划,把 Wald 公式倒过来:n = z² × p × (1 − p) ÷ 误差²。转化率约 3%、误差要控制在 ±0.5 个百分点时,n = 1.96² × 0.03 × 0.97 ÷ 0.005² = 4,472 位访客;要 ±0.25 个百分点,需要 4 倍,约 17,886 位。
样本小的时候为什么要用 Wilson 区间
Wald 算法假设比率的抽样分布是对称的钟形。转化很少时,两条都不成立。两个小样本的例子:
| 情形 | Wald 95% | Wilson 95% |
|---|---|---|
| 50 人里 3 次转化(6%) | −0.58% 到 12.58% | 2.06% 到 16.22% |
| 50 人里 0 次转化 | 0% 到 0% | 0% 到 7.14% |
转化率不可能是负数,而「50 位访客之后给出 0% 到 0%」等于凭空宣称有十足把握。Wilson 区间不会低于 0,在边缘处也保持诚实;NIST 手册指出它的下限不会为负。Brown、Cai 和 DasGupta(2001)在多种样本量下比较了标准区间和其他算法,推荐在小样本和中等样本时用 Wilson 区间。
经验规则:如果这一组里转化数不到约 30,或没转化的人数不到 30,就用 Wilson(或精确二项区间)。转化数超过几百以后,选哪个几乎没有差别。
比较两个数时怎么读区间
多数人是在比较两个比率时遇到置信区间:A 版和 B 版、这个月和上个月。示例数据:A 版 4,000 人转化 120 次(3.0%),B 版 4,000 人转化 140 次(3.5%)。
- A 的区间是 2.51% 到 3.58%,B 的是 2.97% 到 4.12%,大部分重叠。
- 更好的检验是看差值的区间。B − A = 0.50 个百分点。差值标准误 = √(0.030 × 0.970 ÷ 4,000 + 0.035 × 0.965 ÷ 4,000) = 0.00396,误差范围 = 1.96 × 0.00396 = 0.78 个百分点,区间 = −0.28 到 +1.28 个百分点。
- 差值区间包含 0。数据既可能是 B 更差,也可能相同或更好。z 值 = 0.50 ÷ 0.396 = 1.26,低于 1.96。
按三条规则读:
- 区间不含 0(看差值)或不含目标值(看单个比率): 在这个置信水平下,数据与「没有变化」不相符。
- 区间包含 0: 你还没证明有差别,也没证明没有差别;每组 4,000 位访客时,约 1.3 个百分点以内的差别都还有可能。
- 看两端,不只看中间: 如果悲观的那一端也值得行动,就行动;如果只有乐观的一端值得,就等更多数据。
示例决策:B 的下限是 −0.28 个百分点,所以不能排除小幅变差。如果损失 0.3 个百分点的代价,超过了上限 +1.28 个百分点带来的好处,就每个版本再收集 4,000 位访客。每个版本 8,000 人、比率不变时,差值的误差范围从 ±0.78 缩小到约 ±0.55 个百分点,仍不足以把 0.5 个百分点的差距和零区分开,这说明真正的答案是更长的测试,或者更大的改动。
两个区间重叠并不总是意味着没有差别,不重叠则是很强的证据;上面的差值区间才是可靠的检查。这和 P 值是同一套逻辑:95% 区间不含 0,就对应 p < 0.05。
置信区间与相近概念对照
| 概念 | 回答什么问题 | 示例中的数 |
|---|---|---|
| 置信区间 | 这个样本还认为哪些真实值是合理的? | 2.51% 到 3.58% |
| 误差范围 | 区间宽度的一半 | ±0.53 个百分点 |
| P 值 | 如果其实没有差别,这样的数据有多让人意外? | B 对 A 为 0.21(z = 1.26) |
| 统计功效 | 真实存在的差别有多大概率被发现? | 每组 4,000 人、差 0.5 个百分点时偏低 |
| 预测区间 | 下一次单个观测会落在哪? | 不是一回事,宽得多 |
均值和比例的分步算法见怎么计算置信区间。
开始前先选方法和置信水平
有两个选择要在数据进来之前做好,写下来,才能避免事后调整区间。其一是方法。如果预计每组有几百次转化,Wald 公式够用,在电子表格里也容易核对。如果任何一组的转化数可能不到约 30,一开始就用 Wilson,因为在出现意外结果后才换方法,看起来像是挑数据。其二是置信水平。当判断错了只损失一天工作量时,90% 的区间足以决定下一个先试哪个想法。95% 是报告时常用的默认值。99% 适合难以撤回的决定,比如下线一个定价页。每个对外发布的区间旁边都要写明水平,否则读者会默认是 95%。
一个简短的算例规则:4,000 人 120 次转化时,区间的半宽在 95% 水平下是 0.53 个百分点,在 99% 水平下约 0.70 个百分点。如果你关心的变化只有 0.25 个百分点,两个区间都不够窄;你需要的是更多流量,而不是换一个置信水平。
让区间产生误导的常见错误
- 把 95% 读成这一个区间的概率。 它描述的是重复很多次时这种方法的表现。
- 以为区间涵盖了所有误差。 它只反映随机抽样噪声。埋点出错、机器人流量被算成访客、样本有偏,都会让整个区间偏移,区间不会提醒你。
- 偷看。 每天重算区间,第一次不含 0 就停,真实的误报率远高于 5%。先定好样本量(上面的 n 公式),到点再读区间。
- 同时看很多区间。 95% 水平下比较 20 个细分,光靠运气就会有约 1 个排除真实值。
- 在不独立的数据上用区间。 同一批访客多次回来,却把每次浏览都当一次试验,区间会过窄。统一按访客或按会话计数。
- 把统计显著和实际重要混为一谈。 +0.1 到 +0.3 个百分点的区间不含 0,但对业务来说可能小到不值得在意;要看效应有多大,不能只看正负。
- 看了数据才选置信水平。 90%、95% 还是 99%,要在看数据之前定:90% 适合快速判断方向,99% 适合难以撤回的决定。要写明用的是哪一个。
- 把区间当成单个结果的范围。 它描述的是真实比率可能落在哪里,不是某一位访客会怎么做;转化率 3% 并不意味着每位访客都有同样的 3% 概率。
- 事后只留一个数。 只报「3.0%」而丢掉「2.5% 到 3.6%」,就丢掉了那条能告诉读者该信多少的信息。
在 TapCub 里分析时怎么读区间
还是 3.0% 对 3.5% 的例子。你对一部分流量改了注册流程,想知道数字是否说明有真实差别。
- 打开 全端分析 › 行为分析 › 行为分析,建一个从落地页到目标事件的漏斗。汇总里有进入人数和转化人数,也就是上面公式要用的 n 和转化数。
- 日期范围要有明确的起止,两个版本用同样长度的时间段,流量构成才可比。用 配置 › 日期标注 在图上标出改动的日期。
- 用进入人数和转化人数分别算两个比率的区间和差值的区间。TapCub 给出计数,区间的算术由你来做(上面的公式很短,电子表格就够)。
- 先看机器人。网站统计 › 机器人 把爬虫流量单独统计,认出来的机器人不计入访客数,所以不会抬高 n。
- 清楚边界。TapCub 不做 A/B 测试,也不分流,版本对比要在别处完成分流。在客服报表里,客服 › 客服报表 › 转化归因 在聊过的访客少于 30 人时会提示,和本文说的小样本问题是同一件事。
资料来源
- NIST/SEMATECH 统计方法电子手册,7.2.4.1 不合格品率与 Wilson 区间。Wilson 公式、下限不为负、20 件中 4 件的示例。核对于 2026-11-21。
- Lawrence D. Brown、T. Tony Cai 和 Anirban DasGupta,Interval Estimation for a Binomial Proportion,Statistical Science 16(2),2001,101–133。二项比例区间方法的比较。
- Edwin B. Wilson,Probable Inference, the Law of Succession, and Statistical Inference,Journal of the American Statistical Association 22(158),1927,209–212。Wilson 区间的原始论文。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
