TapCub 正式上线:统计、分析、客服一个平台免费用
术语表

什么是 Alpha 测试?和 Beta 的区别、流程与退出标准

Alpha 测试是版本头一次交给不写代码的人、在公司环境里测试。它和 Beta、UAT 的区别,怎么组织,以及写成数字的退出标准。

陈屿 审核人 索菲娅·贝内特 又称 Alpha 测试 最后更新 2026 年 11 月 15 日 术语表

一句话回答

Alpha 测试是版本头一次交给开发团队以外的人测试,在公司自己的环境里、外部用户见到之前进行。它回答产品到底能不能用,结束的依据应该是写成数字的退出标准,而不是一个日期。

公式: 核心流程完成率 = 走完核心流程的测试者 ÷ 尝试核心流程的测试者;无崩溃测试者占比 = 1 − 出现崩溃的测试者 ÷ 全部测试者

什么是 Alpha 测试?

Alpha 测试是产品头一次交给「不是写代码的人」来测,而且是在公司自己的环境里、外部用户还没见到之前进行。ISTQB 术语表把它定义为一种验收测试:在开发方的测试环境中,由开发团队以外的角色执行。落到实际,就是客服、销售、设计、其他产品线的同事,有时再加几位受邀客户,用工程师交出来的版本走一遍。

Alpha 测试回答的问题很窄:产品到底能不能用?一个没写过这段代码的人,在公司自己的设备上,能不能走完核心流程,不崩溃、不卡住、不丢数据?至于好不好用、在便宜手机上够不够快、在成千上万种真实环境里稳不稳,那是下一步 Beta 测试 要回答的问题,它发生在用户自己的环境里。

两个阶段回答的问题不同,所以从 Alpha 进到 Beta 的那道门,不应该是路线图上的一个日期,而应该是一张写成数字的退出标准清单,在 Alpha 开始之前就定好。

在软件测试里,这个词有两种略有差别的用法。有的团队把任何对未完成版本的内部测试都叫 Alpha,包括开发自己点一遍;更严格的用法(本文采用的)要求测试者不是开发者本人,因为写代码的人会下意识绕开自己知道很脆弱的路径。员工每天用自家产品,和 Alpha 测试很接近,常被叫作吃自己的狗粮;区别在于 Alpha 有固定的版本、固定的人群、固定的周期,最后要做一次是否放行的决定。

Alpha、Beta 和 UAT 有什么区别

这三者常被混为一谈,因为都是把版本交给非开发人员。它们的区别在于谁来测、在哪测、结束时什么必须成立。

Alpha 测试Beta 测试用户验收测试(UAT)
谁来测开发团队以外的员工,有时加几位受邀客户主动加入的真实外部用户要接收这套系统的业务负责人或甲方
在哪测开发方环境,公司的设备和账号用户自己的设备、数据和网络接近生产环境的预发或 UAT 环境
产品状态功能基本齐全,粗糙,可能崩溃候选发布版,日常使用够稳候选发布版,常在 Beta 之后或代替 Beta
要回答的问题到底能不能用?在真实环境里好不好用、稳不稳?是否满足约定的业务需求?
常见退出标准核心流程完成率、无崩溃测试者数、阻断缺陷清零无崩溃用户占比对比当前版本、采用率、重复使用每条验收场景通过并签字

用户验收测试是三者里的特例:它由「决定」来定义(客户或业务方接不接受),而不是由测试者在哪来定义。一个内部工具可以只做 Alpha 和 UAT、从不公测;一个面向消费者的 App 可以只做 Alpha 和 Beta,把 Beta 结束当作验收。

Beta 之后,很多团队还会逐步放量。金丝雀发布不经用户同意,把一小部分正常线上流量切到新版本,这和上面三种测试是另一道保险。

Alpha 测试怎么做:分步流程

  1. 冻结一个版本并编号。所有测试者都要在同一个版本上,并有明确标识(例如 2.4.0-alpha.3),这样每次崩溃、每条反馈都能对应到版本。清楚的版本号规则能省掉很多事后争论。
  2. 把核心流程写下来。列出新用户拿到产品主要价值必须走完的 3–6 步:注册、建头一个项目、导入数据、分享报告。这就是你的产品里「能不能用」的具体含义。
  3. 测试开始前写好退出标准。例如:尝试核心流程的测试者里完成率不低于 90%;最后一周出现崩溃的测试者不超过 1 人;P0 缺陷清零。事后再定,容易把线挪到结果旁边。
  4. 招 20–50 名符合目标用户画像的内部测试者。测一个开票工具,财务同事比隔壁工程师更合适。做这个功能的人不参加。
  5. 按 1–2 周一轮来跑。每轮以一个修复版本结束,测试者在新版本上重走核心流程,方便逐轮对比。
  6. 收集两类证据。度量类:谁完成了哪一步、每人和每个会话的崩溃、完成用时。反馈类:带复现步骤的缺陷、让人困惑的界面、缺失的部分。
  7. 做决定。进入 Beta、再跑一轮 Alpha,或砍掉功能。记下是哪条标准决定了结果。

退出标准:一个算例

示例数据:一个项目管理 App 为新的引导流程跑两轮 Alpha,40 名内部测试者。核心流程 4 步:注册、建项目、从 CSV 导入任务、把项目分享给同事。退出标准在第 1 轮之前定好。

标准(事先定好)目标第 1 轮(alpha.2 版本)第 2 轮(alpha.3 版本)
核心流程完成率尝试者中 ≥ 90%36 人中 29 人 = 80.6%37 人中 34 人 = 91.9%
最后一周至少崩溃一次的测试者40 人中 ≤ 1 人40 人中 3 人(无崩溃测试者 1 − 3 ÷ 40 = 92.5%)40 人中 1 人(无崩溃测试者 1 − 1 ÷ 40 = 97.5%)
以崩溃结束的会话≤ 0.5%412 个中 3 个 = 0.73%455 个中 1 个 = 0.22%
未关闭的 P0 缺陷01 个(CSV 超过 500 行时丢行)0
决定再跑一轮进入 Beta

这张表里有两个细节,比数字本身更重要。

其一,崩溃标准写成「测试者人数」,而不是「99.5% 无崩溃」这样的百分比。40 名测试者里每个人占 2.5 个百分点(100 ÷ 40 = 2.5),无崩溃测试者占比只能是 40/40、39/40(97.5%)、38/40(95%) 这样跳着走。99.5% 的目标实际上等于「零崩溃」,比本意更严,而且对上千用户时的表现说明不了什么。再加一条按会话算的崩溃率,就多了一个变化更细的视角。

其二,第 1 轮大多数人都走完了,却仍有两条标准没过。36 人里有 7 人走不完,原因是 CSV 导入的一个 P0 缺陷。规则替团队做了决定:修复、发 alpha.3、重走流程。只有完成率和稳定性都过线,版本才进入 Beta,那时的问题变成「对陌生人好不好用、稳不稳」,衡量的样本也大得多。作为参照,Google Play 把各设备平均、按 28 天计的用户感知崩溃率超过 1.09% 视为公开应用的不良表现;这类尺子应该放在 Beta 和发布标准里,而不是 40 人的 Alpha 里。

Alpha 测试通常能发现什么

  • 核心流程上的阻断缺陷。崩溃、丢数据、某一步无法完成。这正是这个阶段存在的理由。
  • 只有开发者才有的默认前提。用了内部黑话的标签、依赖一个工程师总是打开的设置的步骤、带管理员权限的测试账号掩盖了权限缺陷。
  • 缺失的部分。没法撤销、没有空状态、导入失败时没有报错提示。
  • 埋点缺口。事件从不触发,或者触发了却缺少发布看板需要的属性。在 Alpha 抓出来,Beta 的数据从头一天就能用。

Alpha 很少能发现的:依赖真实数据量、慢网络、老设备和特殊配置的问题。公司设备和办公室 Wi-Fi 太统一,所以 Alpha 通过只是拿到进 Beta 的门票,不是发布许可。比如低端机上的性能,需要 Beta 那样的设备分布;那里该看什么,见如何提升 App 性能。

常见误区

  • 让开发者自己当测试者。他们会不自觉地绕开脆弱路径。请其他团队的人来测。
  • 没有书面退出标准。Beta 日期一到 Alpha 就结束,不管结果如何。先写下 3–5 个数字。
  • 用小样本根本达不到的百分比。40 名测试者时,用人数(「最多 1 名测试者崩溃」)或按会话的比率。
  • 版本混用。同时有人在 alpha.2、有人在 alpha.3,每个数字都说不清。强制更新,或按版本分开看。
  • 把反馈数量当质量。十条说按钮颜色的反馈和一条丢数据的反馈不等价。先处理阻断问题。
  • 跳过数据检查。发布看板依赖的事件如果在 Alpha 没验证过,Beta 产出的数字没人信。

在 TapCub 里衡量一轮 Alpha

拿上面的算例来说:40 名测试者、两个版本、4 步核心流程。在 TapCub 里,决定中「度量」的那一半,来自之后衡量 Beta 和正式版的同一个 SDK。

  1. 把 Alpha 版本单独拎出来。应用统计 › 用户分析 › 版本分布按版本列出活跃用户占比、崩溃次数和首次出现日期,alpha.2 和 alpha.3 各占一行,第 1 轮不会和第 2 轮混在一起。见追踪 App 版本。
  2. 按版本看稳定性。应用统计 › 质量与归因 › 稳定性显示无崩溃占比(1 − 崩溃用户 ÷ 活跃用户)、崩溃次数、ANR 和界面卡顿,以及可以标为活跃、已解决或已忽略的错误分组。40 人的规模下,像算例那样把崩溃人数和占比放在一起看。见无崩溃率。
  3. 量核心流程完成率。在全端分析 › 行为分析 › 行为分析里把 4 步建成漏斗,并筛选 Alpha 版本:漏斗给出到达每一步的人数占比,以及没走完的 7 个人卡在哪一步。
  4. 进 Beta 前验收事件。在全端分析 › 数据管理 › 埋点方案里,Alpha 期间把新引导流程的事件保持在「验收中」状态,并打开「实时验证(近 24 h)」:每个事件会多出近 24 小时命中数和必填属性完整度两列。事件完整到达后再改成「已上线」。
  5. 在图表上标出每一轮。在配置 › 日期标注里把每个 Alpha 版本加成标注,之后趋势图上出现跳变时,能追溯到是哪个版本引起的。

TapCub 不管理测试用例、缺陷单或测试者招募,这些留在你的缺陷管理工具里。它提供的是写进退出标准的那些数字。

另见:什么是冒烟测试?定义、8 项清单和发版当天的算例。

资料来源

这个解释清楚吗?

我们会根据反馈修改和补充这篇内容。

陈屿

技术工程师

专注统计代码、SDK 与接口集成文档,从接入验证到问题排查,帮助开发者更顺畅地完成实施。

常见问题

常见追问

大家看完定义后最常问的几个问题。

还有其他问题?

直接和 TapCub 团队聊聊——工作日通常几小时内回复。

Alpha 测试和 Beta 测试有什么区别?

Alpha 测试在开发方环境里、由开发团队以外的人(通常是员工)进行,问的是产品到底能不能用;Beta 测试把候选发布版交给真实外部用户、在他们自己的设备上使用,问的是在真实环境里好不好用、稳不稳。两者之间按书面的退出标准放行。

Alpha 测试由谁来做?

应当是没参与开发这个功能的人:客服、销售、设计、其他产品线,有时加几位受邀客户。开发可以先自测,但他们会绕开自己知道很脆弱的路径,只有开发参与的 Alpha 会漏掉新用户头几分钟就会碰到的问题。

Alpha 测试要多长时间?

多数团队跑 1–3 轮、每轮 1–2 周,每轮以一个修复版本结束,测试者在新版本上重走核心流程。达到事先定好的退出标准就停,例如核心流程完成率不低于 90%、没有未关闭的阻断缺陷,而不是等 Beta 日期一到就停。

Alpha 测试需要多少测试者?

20–50 名接近目标用户的内部测试者,通常足够发现阻断缺陷。这个规模下每个人就占好几个百分点,所以崩溃标准要写成人数(例如最多 1 名测试者崩溃)或按会话的比率,而不是「99.5% 无崩溃」这样的目标。

在你自己的网站上看这个数字

加一行脚本就能开始,网站和 App 都能接,几分钟内就能看到第一批报表。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie