一句话回答
误差范围是在给定置信水平下,样本估计值上下的一段范围,真实值预计落在其中。比例的误差范围为 z × √(p(1 − p)/n),样本越大越小。
公式: 误差范围 = z × √(p(1 − p) ÷ n)
什么是误差范围?
误差范围(Margin of Error,也叫边际误差)是从样本估计出来的数字后面那个「正负多少」。它说明:仅仅因为随机抽样,估计值可能离真实值多远。「转化率 4.0% ± 0.8 个百分点,置信水平 95%」的意思是:如果反复测量很多次,按这种方法得到的区间大约有 95% 会包含真实转化率。
误差范围是置信区间宽度的一半:估计值 − 误差范围 到 估计值 + 误差范围。
误差范围公式
比例类指标,比如转化率、点击率、某类用户占比:
误差范围 = z × √( p × (1 − p) ÷ n )
均值类指标,比如客单价:
误差范围 = z × s ÷ √n
- p 是观测到的比例,s 是样本标准差,n 是样本量
- z 由置信水平决定:90% 取 1.645,95% 取 1.96,99% 取 2.576
怎么算:一个转化率的例子
某落地页 2,500 个访客里有 100 人转化,p = 0.04(示例数据)。
- 标准误:√(0.04 × 0.96 ÷ 2,500) = 0.00392
- 乘以 95% 对应的 z:1.96 × 0.00392 = 0.0077
- 误差范围 = ±0.77 个百分点,95% 区间是 3.23% 到 4.77%。
同样 4% 的转化率,样本量不同时:
| 访客数(n) | 误差范围(95%) | 相对 4% 的比例 |
|---|---|---|
| 1,000 | ±1.21 个百分点 | ±30% |
| 2,500 | ±0.77 个百分点 | ±19% |
| 10,000 | ±0.38 个百分点 | ±10% |
| 40,000 | ±0.19 个百分点 | ±5% |
样本变成 4 倍,误差范围减半。从 ±1.2 缩到 ±0.2 个百分点,需要 40 倍的流量。
均值的例子:400 笔订单,平均 62 美元,标准差 48 美元,误差范围是 1.96 × 48 ÷ √400 = ±4.70 美元。
两个数之差的误差范围
数据分析里多数问题是比较:本周和上周、A 版和 B 版、手机和电脑。差值的误差范围比任何一边单独的都大:
误差范围(p₁ − p₂) = z × √( p₁(1 − p₁)/n₁ + p₂(1 − p₂)/n₂ )
两个页面各 5,000 个访客,转化率分别是 4.0% 和 4.6%。差值 0.6 个百分点,但误差范围是 ±0.80 个百分点,区间从 −0.2 到 +1.4,包含 0,现有数据还分不出两个页面谁好。这和显著性检验是同一个道理,见统计显著性和 p 值。
哪些因素影响误差范围
- 样本量。 误差范围按 √n 缩小。
- 置信水平。 99% 比 95% 的误差范围宽约 31%(2.576 对 1.96)。
- 比例本身。 p × (1 − p) 在 50% 时最大,同样的 n 下,50% 的比例误差范围最宽。比例很低(接近 0)或很高(接近全部)时,误差的百分点数小,但相对误差大。
- 总体规模,有时有影响。 样本占小总体的比例很大时,乘以有限总体校正系数 √((N − n) ÷ (N − 1))。3,000 个客户里调查 500 个,p = 0.5 时误差范围是 ±4.0 个百分点,不校正是 ±4.4。
需要多少访客?
把公式反过来,目标误差范围为 E:
n = z² × p × (1 − p) ÷ E²
想把 4% 的转化率测到 ±0.5 个百分点以内(95% 置信),需要 1.96² × 0.04 × 0.96 ÷ 0.005² ≈ 5,901 个访客;±1 个百分点约 1,476 个。如果是规划一个要检测出特定提升的实验,应该用最小可检测效应和统计功效来算。
误差范围管不到的事
误差范围只衡量随机抽样误差,不管下面这些:
- 有偏的样本: 只有满意客户回答的问卷,或者漏掉了屏蔽脚本的访客。见抽样偏差。
- 测量误差: 机器人被算成真人、事件重复、时区错了。
- 不独立的数据: 同一个用户的多次事件被当成多个独立观测。以用户为单位的问题,就数用户,不数事件。
网站统计数据也有误差范围吗?
统计了每一次访问的报表不是抽样调查,从这个角度说没有抽样。但只要你把本周的数字当作「网站一般表现」的证据,误差范围就有意义:对比时间段、分群或版本,或者判断一个小分群的转化率是不是真的高。一个只有 300 个访客、转化率 4% 的分群,误差范围约 ±2.2 个百分点,宽到「转化率最高的分群」常常只是噪声。
如果统计工具先抽样再出报表,抽样本身还会再加一层误差,见数据抽样。TapCub 按全部采集到的事件出报表,不做抽样,所以要考虑的就是本文讲的统计误差。
参考资料
- Pew Research Center. 5 key things to know about the margin of error in election polls.
- OpenStax. Introductory Statistics, chapter 8: Confidence Intervals.
- NIST/SEMATECH. e-Handbook: confidence limits for the mean.
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
