推断统计：定义、示例和常用检验

什么是推断统计？

推断统计（Inferential Statistics）是用样本数据，对没有完整观察到的更大对象下结论：一个总体、一个持续运行的过程，或者接下来会发生什么。它一定附带不确定性说明，比如置信区间或 p 值。

描述统计回答「这批数据里有什么」，推断统计回答「这批数据能让我对数据以外的世界说什么」。看板上显示上个月的激活率是描述统计；说新的引导流程提高了激活率、大约提高多少，是推断统计。

两大工具

第三类是建模，同时估计多个变量之间的关系，比如回归分析、预测、分类，背后是同一套思路。

计算示例：激活率真的提高了吗？

某产品月初改了新手引导。示例数据：

估计。 这个月激活率 25.75%，95% 区间 ±2.14 个百分点，即大约 23.6% 到 27.9%。

检验差异。 差值 3.75 个百分点，标准误为 √(0.2575 × 0.7425 ÷ 1,600 + 0.22 × 0.78 ÷ 1,500) = 1.53 个百分点，z = 3.75 ÷ 1.53 = 2.45，双侧 p ≈ 0.014。差值的 95% 区间是 +0.75 到 +6.75 个百分点。

能说的是：如果激活率根本没变，出现这么大的差异可能性很小；可信的提升幅度从不到 1 个百分点到接近 7 个百分点。单凭这些不能说的是：提升是引导流程造成的。两个月的流量构成、活动和季节都不一样。要归因，得在同等条件下比较（同渠道、同样的星期几），或者做对照实验，见相关和因果。

每次推断背后的前提

1. 样本能代表总体。 只抽了电脑端或只抽了一个活动的用户，公式救不回来，见抽样偏差。
2. 观测相互独立。 数用户，不数同一用户的重复事件。
3. 模型合适。 正态近似需要足够的数据；收入这类偏态指标可能要用中位数、变换或自助法（bootstrap）区间。
4. 先定检验再看数据。 做很多次检验、只报告「成功」的那一次，会让假阳性大增。

常见错误

• I 类错误： 本来没有效果，却判断有（假阳性），发生概率就是显著性水平，常取 5%。
• II 类错误： 真实效果被漏掉（假阴性），概率取决于样本量和效果大小，1 减去它就是统计功效。

计算示例见I 类错误和 II 类错误。

• 把显著当成重要。 样本极大时，微不足道的差异也会「显著」，一定要报告差异的大小，见效应量。
• 把不显著当成没有效果的证明。 可能只是样本太小。

常用的推断检验

网站统计数据算样本吗？

如果工具记录了每一次访问，上个月的数字就不是上个月的样本，描述统计已经完整描述了它。一旦把这个月当成「网站一般表现」的证据，比如判断改动有没有效、某个分群是不是真的转化更好、下个月会怎样，就需要推断：这个月相当于一个持续过程中的一次抽样，同样适用上面的区间和检验。

TapCub 的报表按全部采集到的事件描述数据，不做抽样。在报表里对比时间段和分群，再对计数做上面的检验；或者导出原始数据，在笔记本里或用 SQL 计算。怎么读检验结果，见统计显著性。

参考资料

• OpenStax. Introductory Statistics, chapters 8–10: confidence intervals and hypothesis testing.
• NIST/SEMATECH. e-Handbook of Statistical Methods: product and process comparisons.
• Wasserstein, R. L. and Lazar, N. A. (2016). The ASA statement on p-values: context, process, and purpose. The American Statistician, 70(2).