TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

如何解读 t 检验结果:逐行读一份真实输出

逐行解读一份 Welch t 检验输出:差值、标准误、t、自由度、p 值和置信区间。三个复算过的案例分别展示显著、没有结论和微小到几乎没用的结果。

卢卡斯·海斯 发布于 2026 年 11 月 20 日 8 分钟阅读 数据分析
示例数据:提升最大的案例 B(每组 200 次会话)不显著,提升最小的案例 C(每组两百万次)p 值最小。显著性既取决于效应大小,也取决于样本量。示例数据

解读 t 检验结果,先读差值,再读它的置信区间,最后读 p 值;t 和自由度只是中间过程。示例 A/B 测试里,0.12 页的提升对应 p = 0.0056、95% 区间 0.035 到 0.205:明显为正,但可能很小。下面把输出里每一行都复算并解释,还有一个不显著的案例和一个显著但微小的案例。

读完你会知道

  • 先读差值,再读区间,最后读 p 值;区间显示效应可能有多大,这是 p 值单独做不到的
  • 区间很宽的不显著结果是没有结论,不是没有效果的证据
  • 样本巨大时,微小的差异也会得到极小的 p 值;要用对你有意义的大小来判断

t 检验的结果到底在告诉你什么?

t 检验的结果告诉你:两组平均值之间的差距,是否大于单靠随机波动就能出现的大小。它检验的原假设是两个总体均值相等。读输出时按这个顺序:先看差值(有多大),再看置信区间(有多确定),然后是 p 值(在「没有差异」的前提下有多意外),最后才是 t 统计量和自由度,它们只是算出其他数字的中间过程。

多数指南先讲 p 值,最后讲区间。做决定时反过来更好:差值和它的区间,回答的是产品或市场团队真正在问的问题:「好了多少,我能相信到什么程度?」p 值回答的是更窄的问题。如果你需要 p 值本身的定义,词条 p 值里有,不同的检验类型(单样本、双样本、配对)在 t 检验类型里讲。本页拿一份真实的输出,一行一行读。

真实的 t 检验输出长什么样?

示例数据:一个网站用新页面布局和旧布局做对比,比较每次会话的浏览页数。Welch 双样本 t 检验(不假设方差相等)给出:

Welch 双样本 t 检验:每次会话浏览页数
  对照组:   n = 4,000   均值 = 3.10   标准差 = 1.90
  变体组:   n = 4,100   均值 = 3.22   标准差 = 2.00
  差值(变体 - 对照)            = 0.12
  标准误                         = 0.0433
  t                              = 2.769
  自由度                         = 8,092.3
  p 值(双侧)                   = 0.0056
  差值的 95% 置信区间            = [0.035, 0.205]

这里每个数字都能由前两行复算出来。标准误是 √(1.90² ÷ 4,000 + 2.00² ÷ 4,100) = √(0.000903 + 0.000976) = 0.0433,t = 0.12 ÷ 0.0433 = 2.769。公式用的是 NIST《工程统计手册》里给出的均值相等的双样本 t 检验公式,包括 Welch-Satterthwaite 自由度。

每一行怎么读?

行它是什么对示例的通俗解读
n、均值、标准差组大小、平均值、离散程度每组约 4,000 次会话;变体用户平均多看 0.12 页
差值变体均值减对照均值变体高 0.12 页,在 3.10 的基础上是 3.9% 的相对提升
标准误差值的典型抽样噪声把测试重做一遍,差值通常会变动约 0.04 页
t差值除以标准误差值离零有 2.77 个标准误
自由度检验用了多少信息8,092 接近会话总数,所以 t 分布几乎就是正态分布
p 值如果真实均值相等,出现这么大差距的概率0.0056 表示光靠运气,大约每 180 次测试才会出现一次这么大的差距
95% 置信区间与数据相符的差值范围真实的提升可能是 0.035 到 0.205 页之间的任何值

有两个细节容易绊人。其一,区间不含零,和 p < 0.05 是同一个说法:当双侧检验在 0.05 水平上拒绝原假设时,95% 区间恰好不包含零。区间携带更多信息,因为它显示了大小。其二,Welch 检验的自由度通常不是整数。NIST 自己的例子给出 T = −12.62、326 个自由度,0.05 双侧检验的临界值为 1.9673;自由度是 8,092 时临界值是 1.9603,这就是上面的区间用 1.960 × 0.0433 = 0.085 作为 0.12 两侧宽度的原因。

输出的行回答什么问题
差值差距有多大?
95% 置信区间哪些差距与数据相符?
p 值如果均值相等,这个结果有多意外?
t 和自由度是什么算出了 p 值和区间?

从上往下读;最后一行只是中间过程。

怎么判断结果意味着什么?

按顺序回答四个问题:

  1. 区间是否完全在零的一侧? 如果是,方向就明确了。这里 0.035 到 0.205 在零之上。
  2. 整个区间值得行动吗? 事先定好有意义的最小提升,比如 0.10 页。这里区间下端(0.035)低于它,所以即使结果显著,也不能排除提升小于你在意的程度。
  3. 测试是怎么做的? 事先定好的固定样本量、一个主要指标、只看一次结果,是 p 值所假设的条件。
  4. 说得通吗? 布局调整带来每次会话 3.9% 的页数增长是可信的。如果改个颜色就涨 40%,就该先检查是不是有 bug。

示例通过了第一项,部分通过第二项,第三项需要你做决定。这样的结论比「显著」更有用。

显著、不显著和微小的结果各是什么样?

同一类测试的三次运行,显示各个部分是怎么变化的。都是示例数据,用 Welch 方法复算。

情形分组差值t自由度p95% 区间效应量(d)
A:中等样本4,000 和 4,100 次会话,3.10 对 3.220.122.778,0920.00560.035 到 0.2050.06
B:小样本200 和 210 次会话,3.10 对 3.400.301.564080.120−0.079 到 0.6790.15
C:超大样本各 2,000,000 次,3.100 对 3.1120.0126.323,999,9982.7 × 10⁻¹⁰0.0083 到 0.01570.006

这里的效应量是差值除以合并标准差(Cohen's d)。

  • 情形 B 不是「没有效果」。 它的差值(0.30)比 A 还大,但区间从 −0.079 到 0.679,数据与从小幅下降到大幅提升的任何情况都相容。它是没有结论,而不是负面结论。
  • 情形 C 是「显著」但几乎没用。 每组两百万次会话,0.012 页的差异(0.4%)得到约 10⁻¹⁰ 的 p 值。区间显示整个范围都在 0.016 页以下。统计显著和实际重要,是两回事。
app.tapcub.com

相对提升与 p 值

示例 A/B 测试
A · p = 0.0056+3.9%
B · p = 0.120+9.7%
C · p = 2.7e-10+0.4%
示例数据
示例数据:提升最大的案例 B(每组 200 次会话)不显著,提升最小的案例 C(每组两百万次)p 值最小。显著性既取决于效应大小,也取决于样本量。

p 值没有告诉你什么?

美国统计协会 2016 年关于 p 值的声明列出了六条原则。其中三条对读 t 检验很重要:

  • p 值不衡量你所研究的假设为真的概率,也不衡量数据仅由随机性产生的概率。p = 0.0056 并不表示这个布局没有效果的概率是 0.56%。
  • p 值,或者说统计显著性,不衡量效应的大小或结果的重要性。情形 C 直接说明了这一点。
  • 单靠 p 值,并不能很好地衡量模型或假设的证据,结论不应只取决于 p 值是否越过某个阈值。

所以汇报时要连同差值和区间一起给出 p 值,不要只给 p 值,并说明做的是什么检验。

你本该用哪种 t 检验?

上面的输出是对独立两组的双样本检验,用的是 Welch 版本。信任任何 t 检验结果之前,先查三件事:

  • 独立还是配对? 如果同一批用户出现在两组里(前后对比),要用配对检验;对配对数据用独立检验,标准误会算错。
  • 方差相等吗? 方差相等的版本会合并标准差,自由度用 N1 + N2 − 2。Welch 版本不需要这个假设,NIST 说它对样本量不等和方差不等都比较稳健。拿不准就用 Welch。
  • 单尾还是双尾? 看数据之前就定好。双侧检验问的是均值在任一方向上是否不同,是安全的默认选择。

t 检验什么时候会误导你?

  • 偏态指标。 每位访客的收入有很多零和少数大值。样本大时 t 检验通常仍然合理,但样本小时,平均值会被一个离群值带偏。先看分布,考虑变换或换一种检验。
  • 重复的用户。 如果一个人贡献了很多次会话,这些会话就不是独立的。要按用户来分析。
  • 偷看。 每天看 p 值,一低于 0.05 就停,会让假阳性率远高于 5%。事先固定样本量或停止规则。
  • 指标太多。 在 0.05 水平上测二十个指标,大约有一个会因为运气显得显著。只选一个主要指标。
  • 定义变化。 如果「会话」的定义在中途改了,两组就没有可比性。

用 TapCub 怎么做

TapCub 不做 t 检验,也不为实验分流;它提供的是进入检验的各组数字。以布局的例子来说:

  1. 在 全端分析 › 行为分析 › 行为分析 里,打开分布视图,把每次会话浏览页数作为对象。你会得到该时段均值和中位数的直方图,在检验之前就能看到偏态。
  2. 实验本身在你自己的工具里跑,并发送一个事件或属性,记录每个访客看到的是哪种布局。TapCub 不把访客分配到变体。
  3. 在 全端分析 › 行为分析 › 自定义指标与 SQL 里,打开 SQL 标签(SQL 查询台),查询事件数据,按变体返回会话数和平均每次会话浏览页数。标准差是每组需要的第三个数字:如果你的 SQL 支持,就在查询里算;否则到 全端分析 › 数据管理 › 数据导出 导出明细,在外面算。
  4. 把这些数字放进任何统计工具,或者用上面的公式算。TapCub 报告均值和数量;p 值在它之外计算。
  5. 在 配置 › 日期标注 里标出测试的开始和结束,让后来的人知道两组覆盖的是哪几天。

FAQ

怎么解读 t 检验结果?

先读差值,再读它的置信区间,最后读 p 值。如果 95% 区间不含零,结果在 0.05 水平上显著,而区间还显示效应可能有多大。示例里,0.12 页、区间 0.035 到 0.205,明显为正,但可能很小。

t 检验里 p 值等于 0.05 是什么意思?

表示如果两个总体均值相等,大约 5% 的测试里会出现至少这么大的差距。它不是原假设为真的概率,也不说明效应的大小。

多大的 t 值算好?

单独的 t 值没有好坏。重要的是 t 相对于你的自由度对应的临界值:样本大时 0.05 双侧检验约 1.96,NIST 的例子在 326 个自由度时是 1.9673。绝对值越大,p 值越小。

t 检验里的自由度是什么意思?

它决定 t 分布的形状,取决于你有多少数据。假设方差相等时是 N1 + N2 − 2。Welch 检验根据样本方差和大小算出一个带小数的值,所以你会看到 8,092.3 这样的数字。

结果可以显著但不重要吗?

可以。在情形 C 里,每组两百万次会话,让 0.012 页的差异高度显著(p 约 2.7 × 10⁻¹⁰),而整个区间都在 0.016 页以下。要始终看差值的大小,而不只是 p 值。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

卢卡斯·海斯

数据工程师

聚焦事件设计、数据质量与采集流程,分享可验证的实施方法,帮助团队建立可靠的分析基础。

为你的测试准备干净的分组数字

每次会话的指标、分布和针对原始事件的 SQL,进入 t 检验的数量和平均值一次查询就能拿到。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie