一句话回答
Alpha 测试是版本头一次交给开发团队以外的人测试,在公司自己的环境里、外部用户见到之前进行。它回答产品到底能不能用,结束的依据应该是写成数字的退出标准,而不是一个日期。
公式: 核心流程完成率 = 走完核心流程的测试者 ÷ 尝试核心流程的测试者;无崩溃测试者占比 = 1 − 出现崩溃的测试者 ÷ 全部测试者
什么是 Alpha 测试?
Alpha 测试是产品头一次交给「不是写代码的人」来测,而且是在公司自己的环境里、外部用户还没见到之前进行。ISTQB 术语表把它定义为一种验收测试:在开发方的测试环境中,由开发团队以外的角色执行。落到实际,就是客服、销售、设计、其他产品线的同事,有时再加几位受邀客户,用工程师交出来的版本走一遍。
Alpha 测试回答的问题很窄:产品到底能不能用?一个没写过这段代码的人,在公司自己的设备上,能不能走完核心流程,不崩溃、不卡住、不丢数据?至于好不好用、在便宜手机上够不够快、在成千上万种真实环境里稳不稳,那是下一步 Beta 测试 要回答的问题,它发生在用户自己的环境里。
两个阶段回答的问题不同,所以从 Alpha 进到 Beta 的那道门,不应该是路线图上的一个日期,而应该是一张写成数字的退出标准清单,在 Alpha 开始之前就定好。
在软件测试里,这个词有两种略有差别的用法。有的团队把任何对未完成版本的内部测试都叫 Alpha,包括开发自己点一遍;更严格的用法(本文采用的)要求测试者不是开发者本人,因为写代码的人会下意识绕开自己知道很脆弱的路径。员工每天用自家产品,和 Alpha 测试很接近,常被叫作吃自己的狗粮;区别在于 Alpha 有固定的版本、固定的人群、固定的周期,最后要做一次是否放行的决定。
Alpha、Beta 和 UAT 有什么区别
这三者常被混为一谈,因为都是把版本交给非开发人员。它们的区别在于谁来测、在哪测、结束时什么必须成立。
| Alpha 测试 | Beta 测试 | 用户验收测试(UAT) | |
|---|---|---|---|
| 谁来测 | 开发团队以外的员工,有时加几位受邀客户 | 主动加入的真实外部用户 | 要接收这套系统的业务负责人或甲方 |
| 在哪测 | 开发方环境,公司的设备和账号 | 用户自己的设备、数据和网络 | 接近生产环境的预发或 UAT 环境 |
| 产品状态 | 功能基本齐全,粗糙,可能崩溃 | 候选发布版,日常使用够稳 | 候选发布版,常在 Beta 之后或代替 Beta |
| 要回答的问题 | 到底能不能用? | 在真实环境里好不好用、稳不稳? | 是否满足约定的业务需求? |
| 常见退出标准 | 核心流程完成率、无崩溃测试者数、阻断缺陷清零 | 无崩溃用户占比对比当前版本、采用率、重复使用 | 每条验收场景通过并签字 |
用户验收测试是三者里的特例:它由「决定」来定义(客户或业务方接不接受),而不是由测试者在哪来定义。一个内部工具可以只做 Alpha 和 UAT、从不公测;一个面向消费者的 App 可以只做 Alpha 和 Beta,把 Beta 结束当作验收。
Beta 之后,很多团队还会逐步放量。金丝雀发布不经用户同意,把一小部分正常线上流量切到新版本,这和上面三种测试是另一道保险。
Alpha 测试怎么做:分步流程
- 冻结一个版本并编号。所有测试者都要在同一个版本上,并有明确标识(例如 2.4.0-alpha.3),这样每次崩溃、每条反馈都能对应到版本。清楚的版本号规则能省掉很多事后争论。
- 把核心流程写下来。列出新用户拿到产品主要价值必须走完的 3–6 步:注册、建头一个项目、导入数据、分享报告。这就是你的产品里「能不能用」的具体含义。
- 测试开始前写好退出标准。例如:尝试核心流程的测试者里完成率不低于 90%;最后一周出现崩溃的测试者不超过 1 人;P0 缺陷清零。事后再定,容易把线挪到结果旁边。
- 招 20–50 名符合目标用户画像的内部测试者。测一个开票工具,财务同事比隔壁工程师更合适。做这个功能的人不参加。
- 按 1–2 周一轮来跑。每轮以一个修复版本结束,测试者在新版本上重走核心流程,方便逐轮对比。
- 收集两类证据。度量类:谁完成了哪一步、每人和每个会话的崩溃、完成用时。反馈类:带复现步骤的缺陷、让人困惑的界面、缺失的部分。
- 做决定。进入 Beta、再跑一轮 Alpha,或砍掉功能。记下是哪条标准决定了结果。
退出标准:一个算例
示例数据:一个项目管理 App 为新的引导流程跑两轮 Alpha,40 名内部测试者。核心流程 4 步:注册、建项目、从 CSV 导入任务、把项目分享给同事。退出标准在第 1 轮之前定好。
| 标准(事先定好) | 目标 | 第 1 轮(alpha.2 版本) | 第 2 轮(alpha.3 版本) |
|---|---|---|---|
| 核心流程完成率 | 尝试者中 ≥ 90% | 36 人中 29 人 = 80.6% | 37 人中 34 人 = 91.9% |
| 最后一周至少崩溃一次的测试者 | 40 人中 ≤ 1 人 | 40 人中 3 人(无崩溃测试者 1 − 3 ÷ 40 = 92.5%) | 40 人中 1 人(无崩溃测试者 1 − 1 ÷ 40 = 97.5%) |
| 以崩溃结束的会话 | ≤ 0.5% | 412 个中 3 个 = 0.73% | 455 个中 1 个 = 0.22% |
| 未关闭的 P0 缺陷 | 0 | 1 个(CSV 超过 500 行时丢行) | 0 |
| 决定 | 再跑一轮 | 进入 Beta |
这张表里有两个细节,比数字本身更重要。
其一,崩溃标准写成「测试者人数」,而不是「99.5% 无崩溃」这样的百分比。40 名测试者里每个人占 2.5 个百分点(100 ÷ 40 = 2.5),无崩溃测试者占比只能是 40/40、39/40(97.5%)、38/40(95%) 这样跳着走。99.5% 的目标实际上等于「零崩溃」,比本意更严,而且对上千用户时的表现说明不了什么。再加一条按会话算的崩溃率,就多了一个变化更细的视角。
其二,第 1 轮大多数人都走完了,却仍有两条标准没过。36 人里有 7 人走不完,原因是 CSV 导入的一个 P0 缺陷。规则替团队做了决定:修复、发 alpha.3、重走流程。只有完成率和稳定性都过线,版本才进入 Beta,那时的问题变成「对陌生人好不好用、稳不稳」,衡量的样本也大得多。作为参照,Google Play 把各设备平均、按 28 天计的用户感知崩溃率超过 1.09% 视为公开应用的不良表现;这类尺子应该放在 Beta 和发布标准里,而不是 40 人的 Alpha 里。
Alpha 测试通常能发现什么
- 核心流程上的阻断缺陷。崩溃、丢数据、某一步无法完成。这正是这个阶段存在的理由。
- 只有开发者才有的默认前提。用了内部黑话的标签、依赖一个工程师总是打开的设置的步骤、带管理员权限的测试账号掩盖了权限缺陷。
- 缺失的部分。没法撤销、没有空状态、导入失败时没有报错提示。
- 埋点缺口。事件从不触发,或者触发了却缺少发布看板需要的属性。在 Alpha 抓出来,Beta 的数据从头一天就能用。
Alpha 很少能发现的:依赖真实数据量、慢网络、老设备和特殊配置的问题。公司设备和办公室 Wi-Fi 太统一,所以 Alpha 通过只是拿到进 Beta 的门票,不是发布许可。比如低端机上的性能,需要 Beta 那样的设备分布;那里该看什么,见如何提升 App 性能。
常见误区
- 让开发者自己当测试者。他们会不自觉地绕开脆弱路径。请其他团队的人来测。
- 没有书面退出标准。Beta 日期一到 Alpha 就结束,不管结果如何。先写下 3–5 个数字。
- 用小样本根本达不到的百分比。40 名测试者时,用人数(「最多 1 名测试者崩溃」)或按会话的比率。
- 版本混用。同时有人在 alpha.2、有人在 alpha.3,每个数字都说不清。强制更新,或按版本分开看。
- 把反馈数量当质量。十条说按钮颜色的反馈和一条丢数据的反馈不等价。先处理阻断问题。
- 跳过数据检查。发布看板依赖的事件如果在 Alpha 没验证过,Beta 产出的数字没人信。
在 TapCub 里衡量一轮 Alpha
拿上面的算例来说:40 名测试者、两个版本、4 步核心流程。在 TapCub 里,决定中「度量」的那一半,来自之后衡量 Beta 和正式版的同一个 SDK。
- 把 Alpha 版本单独拎出来。应用统计 › 用户分析 › 版本分布按版本列出活跃用户占比、崩溃次数和首次出现日期,alpha.2 和 alpha.3 各占一行,第 1 轮不会和第 2 轮混在一起。见追踪 App 版本。
- 按版本看稳定性。应用统计 › 质量与归因 › 稳定性显示无崩溃占比(1 − 崩溃用户 ÷ 活跃用户)、崩溃次数、ANR 和界面卡顿,以及可以标为活跃、已解决或已忽略的错误分组。40 人的规模下,像算例那样把崩溃人数和占比放在一起看。见无崩溃率。
- 量核心流程完成率。在全端分析 › 行为分析 › 行为分析里把 4 步建成漏斗,并筛选 Alpha 版本:漏斗给出到达每一步的人数占比,以及没走完的 7 个人卡在哪一步。
- 进 Beta 前验收事件。在全端分析 › 数据管理 › 埋点方案里,Alpha 期间把新引导流程的事件保持在「验收中」状态,并打开「实时验证(近 24 h)」:每个事件会多出近 24 小时命中数和必填属性完整度两列。事件完整到达后再改成「已上线」。
- 在图表上标出每一轮。在配置 › 日期标注里把每个 Alpha 版本加成标注,之后趋势图上出现跳变时,能追溯到是哪个版本引起的。
TapCub 不管理测试用例、缺陷单或测试者招募,这些留在你的缺陷管理工具里。它提供的是写进退出标准的那些数字。
资料来源
- ISTQB 术语表:alpha testing。
- ISTQB 术语表:beta testing。
- Android Developers:Android vitals 核心指标与不良表现阈值。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
