什么是序贯检验？偷看问题、方法和示例

什么是序贯检验？

序贯检验是在数据陆续进来时反复分析实验的方法，它的停止规则经过设计，使整体假阳性率保持在你选定的水平，通常是 5%。你可以每天看一眼 A/B 测试，证据足够强时提前结束，而不会骗了自己。

与之相对的是固定样本检验：根据最小可检测效应和统计功效事先算好样本量，到量后只分析一次。只要没人中途偷看，它就没问题。可实际上几乎人人都会偷看。

偷看问题有多严重

如果实验其实没有效果，只看一次，5% 的显著性门槛对应 5% 的假阳性概率。如果反复查看、一看到 p < 0.05 就停，每看一次，随机噪声就多一次越线的机会。我们对等间隔查看做了模拟（每行 4 万次）：

连续三周每天看、一出现「显著」就停，大约每四个「赢了」的测试里就有一个是噪声。Armitage 等人在 1969 年就描述过这个现象，它是一种并非出于恶意的 p 值操纵。

序贯检验的几种方法

现在很多实验平台默认就带其中一种。关键是在测试开始之前选好方法。

示例：五次查看的 O'Brien-Fleming 设计

示例测试：新价格页对比旧价格页，每周复盘一次，最多五周。对于 α = 0.05（双侧）、五次等间隔查看，O'Brien-Fleming 边界依次是 4.56、3.23、2.63、2.28、2.04。

边界在前期估计还很不稳定时很严，到最后接近常用的 1.96，所以和只分析一次相比，功效损失很小。第 2 次查看时普通 p 值已经低于 0.05，在那里停就是典型的偷看错误；第 3 次证据越过了为多次查看设计的边界，这时停止才是合理的。

优缺点

• 效果大时能更快下结论；效果小时仍然要跑满样本。
• 最大样本量比同等功效的固定检验略大。
• 提前停止时效果估计会偏高，因为是在高点停下的。报告时注明这一点，或使用方法自带的修正估计。
• 仍然需要事先规划：查看次数、方法和最大样本量都要提前定好。

什么时候用

当大家会在结束前看结果（一定会）、及早叫停有害改动很重要，或者流量很贵的时候，用序贯检验。如果真能做到只分析一次，用固定样本检验。如果目标是测试期间多赚，而不是衡量效果，多臂老虎机是另一种工具。

序贯检验和 TapCub

TapCub 不运行实验，也不计算实验统计量。如果是你的测试工具在分配方案，可以把方案作为事件属性上报（比如 tapcub.track('pricing_view', { variant: 'B' })），在事件分析里按它拆分转化、收入和留存。这能告诉你下游发生了什么；什么时候停，应以实验工具所用的序贯方法为准。显著性本身的背景知识见统计显著性和 p 值。

资料来源

• Wald, A. (1945). Sequential Tests of Statistical Hypotheses. Annals of Mathematical Statistics, 16(2), 117–186.
• Armitage, P., McPherson, C. K. and Rowe, B. C. (1969). Repeated Significance Tests on Accumulating Data. Journal of the Royal Statistical Society A, 132(2), 235–244.
• O'Brien, P. C. and Fleming, T. R. (1979). A Multiple Testing Procedure for Clinical Trials. Biometrics, 35(3), 549–556.
• Johari, R., Pekelis, L. and Walsh, D. (2017). Always Valid Inference: Bringing Sequential Analysis to A/B Testing.