免费工具 流量波动显著性检验:真下降还是正常波动?
输入两个时期的访问量(可选转化数),检验变化是否超出随机波动、给出「没变化时本期应该落在的范围」;粘贴每日数据后,还会按星期规律和你网站真实的日间波动来调整结论。
- 精确检验,与 SciPy 对过数
- 每日数据按星期调整
- 本地计算
比较两个时期
示例是一家网店:本周访问比上周少了 9.6%。只看合计,这个下降「非常显著」;点「示例:每日数据」,看看把日间波动算进去后结论怎么变。
p 值小于 1 − 置信水平时算显著。
会话数或访问次数,整数。
天数不同时按日均比较。
可不填。订单、注册或任何目标都行。
可不填。
一行一天:日期, 访问[, 转化],或只写访问量。按日期从早到晚;从统计后台导出的带表头的数据可以直接贴。
之前的 N 天是上期;更早的全部天数用来估计星期规律和日间波动。
访问量变化
−9.6%
两期天数不同时按日均算。
p 值(泊松)
< 0.001
假设每次访问相互独立。
p 值(调整后)
—
计入了你的数据里实际的日间波动。
离散度 φ
—
日间方差 ÷ 纯随机应有的方差。1 = 纯泊松。
没变化时的正常范围
12,562 – 13,192
真实访问率没变时,本期大多数情况下会落在这个范围里。
变化的置信区间
−11.8% … −7.3%
全部检验
| 指标 | 上期 | 本期 | 变化 | 检验 | p | 结论 |
|---|---|---|---|---|---|---|
| 访问量 | 12,877 | 11,643 | −9.6% | 泊松精确检验 | 3.39 × 10⁻¹⁵ | 显著 |
| 转化数 | 311 | 288 | −7.4% | 泊松精确检验 | 0.3687 | 正常波动 |
| 转化率 | 2.42% | 2.47% | +2.4% | 两比例 z 检验 | 0.7673 | 正常波动 |
基线期的星期规律
每个星期几的平均访问,以及它和整体平均的比值。
假设与提醒
- 说明访问量上千时,泊松检验连很小的变化都会判显著。真实流量的日间波动比检验假设的大,建议粘贴每日数据再看。
分享这组输入:数值写在链接的 # 后面,不会发到服务器。
https://tapcub.com/zh/tools/traffic-change-significance
版本 v1.0更新于 更新记录
流量的「显著」是什么意思
显著性检验只回答一个问题:如果真实访问率没变,出现这么大的差异有多意外?它不告诉你流量为什么变。
p 值
真实访问率不变时,出现至少这么大变化的概率。95% 置信水平下小于 5% 就算显著。它不是「变化是真的」的概率。
正常范围
没有真实变化时,本期大多数情况下会落在的区间。落在里面很平常,落在外面值得看一眼。有每日数据时,这个范围会按你网站实际的波动放宽。
离散度 φ
每日访问比「抛硬币式」的随机多晃多少。真实网站因为星期、活动、新闻,通常远大于 1;φ 越大,单独一周的变化越说明不了问题。
转化率和转化数
访问少了,转化数跟着少是正常的。转化率那一行问的是「来的人是不是更不愿意转化了」,通常更有参考价值。
最关键的假设是独立:泊松检验把每次访问当成互不相关的随机事件。回访用户、机器人、活动、故障都会打破它,所以调整后的结果比不调整的更重要。
先检验,再反应
适合的时机:看板上流量掉了,老板问「怎么回事」。
-
1
选可比的时期
整周比整周,或者相同的星期几。避免一期有节假日、大促、上新,另一期没有(国庆、双 11、春节前后尤其要注意)。
-
2
填合计,或粘贴每日数据
合计能快速给个答案。从统计后台导出 5 周以上的每日数据,工具能算出你网站的正常波动和星期规律。
-
3
先看调整后的那一行
调整后仍然显著,就去按渠道、落地页、设备拆开找原因;不显著,就再等一周数据再动手。
数字背后的检验
访问量是计数,主检验按泊松处理;有每日数据时,再估计你的流量比泊松多出来多少波动。
- 精确检验以两期合计 n = x₁ + x₀ 为条件:没变化时 x₁ ~ 二项分布 B(n, t₁ ⁄ (t₁ + t₀))。双侧 p 值把所有「概率不大于观测值」的结果加起来,与 R 的
poisson.test、SciPy 的binomtest相同;结果和 SciPy 1.13 一致到约十位有效数字 - φ = Σ (x − e)² ⁄ e ⁄ (天数 − 分组数),e 是基线期同一星期几的均值(准泊松;McCullagh & Nelder《Generalized Linear Models》第 2 版,1989);φ 小于 1 时按 1 算
- 星期分组按日期算;没有日期时,按距最后一天的天数对 7 取余分组
变化
(x₁ ⁄ t₁) ⁄ (x₀ ⁄ t₀) − 1
x = 访问量,t = 天数;1 = 本期,0 = 上期
精确 p 值
Σ P(X = k),对所有 P(X = k) ≤ P(X = x₁) 的 k
X ~ B(x₀ + x₁, t₁ ⁄ (t₀ + t₁))
正常范围
E ± z·√(φ·(E + r²·x₀)),E = r·x₀,r = t₁ ⁄ t₀
95% 时 z = 1.96;没有每日数据时 φ = 1
调整后 z
ln(率比) ⁄ √(φ·(1 ⁄ x₀ + 1 ⁄ x₁))
按正态分布算双侧 p
按星期调整的 z
(x₁ − E_w) ⁄ √(φ·(E_w + E_w ⁄ w))
E_w = 本期每天对应星期几的基线均值之和;w = 每个星期几的基线天数
转化率 z
(p₁ − p₀) ⁄ √(p̄(1 − p̄)(1 ⁄ n₀ + 1 ⁄ n₁))
p̄ = 合并转化率
同一个 9.6% 的下降,三种算法
示例网店上周 12,877 次访问,本周 11,643 次。同样 5 周的每日数据在「示例:每日数据」里。
| 方法 | 变化 | p | 结论 |
|---|---|---|---|
| 两期合计,泊松精确检验 | −9.6% | 3.4 × 10⁻¹⁵ | 显著 |
| 准泊松,用基线 28 天估出 φ = 17.1 | −9.6% | 0.057 | 95% 下属正常波动 |
| 和前四周的星期基线比 | −4.0% | 0.35 | 正常波动 |
| 转化率 2.42% → 2.47% | +2.4% | 0.77 | 正常波动 |
上周恰好是 5 周里最高的一周,所谓「下降」有一部分是上周偏高;来的人转化率也没变。合理的反应是继续观察,而不是马上改落地页。
环比为什么常常误导人
大多数虚惊一场,问题出在比较方式,而不是流量本身。
星期几没对齐
周一到周日比一个多了一个周末的时期;有 5 个周六的月份比只有 4 个的月份;调休上班的周末比正常周末。用整周比,或者比相同的星期几。
只信泊松 p 值
访问量上千时它几乎把所有变化都判成显著。真实流量的波动比泊松模型大得多,用每日数据量一下到底大多少。
天天检验
每天看一次显著性、一显著就行动,必然会被假警报牵着走。先定好比什么,或者交给规则固定的提醒。
不看数里有什么
机器人、垃圾来源造成的暴涨既显著又毫无意义。解读变化前先看它来自哪里。
变化异常时自动告诉你
不用天天盯看板、手动做检验,TapCub 盯着指标,有异常就通知。
流量波动多大算正常?
每个网站不一样,所以工具不给一个固定数字。粘贴每日数据后算出的离散度 φ 就是你网站的答案:φ = 1 表示只有纯随机波动,真实网站因为星期、活动、新闻,通常远大于 1,周环比上下 10% 在很多网站上都很平常。
流量波动分析从哪入手?
先判断是不是正常波动(本工具),再拆来源:按渠道、搜索引擎、落地页、设备、地区对比两期,找出变化集中在哪一块。同时排除节假日、活动、统计代码改动和机器人这几个常见原因。
本周流量比上周掉了 10%,要紧吗?
把两周填进来。只填合计时,几千次访问掉 10% 通常显示「显著」,因为检验假设每次访问独立。再粘贴 5 周每日数据,工具会按你网站的正常波动重新判断;很多网站的周间波动本来就有这么大。
为什么大网站掉一点点也算显著?
泊松计数的随机波动只随计数的平方根增长,10 万次访问时变化 2% 就远超纯随机。但真实流量的波动比这大,调整后的结果就是在算这部分。
和上周比还是和去年同期比?
和上周比反应最快,但带着星期、活动的噪声;和去年同期比能排除季节性,但网站本身一年里变了很多。用整周比较;季节性强的生意(电商大促、教育开学季)两种都看。春节、国庆这类假期每年日期不同,要按假期对齐,而不是按日期。
为什么转化率要单独检验?
访问少了,转化数自然少。转化率检验问的是「来的人是不是更不愿意转化了」,能把「流量问题」和「网站 / 商品问题」分开。
这个检验没考虑什么?
节假日、星期以外的季节性、长期趋势、活动、统计代码改动、同一个访客多次访问。按星期调整至少需要两周基线;它也不能告诉你流量为什么变。
数据会上传吗?
不会,计算在你的浏览器里完成。分享链接里只有两期合计;粘贴的每日数据不会离开页面。