一句话回答
UAT(用户验收测试)是发布前的最后一道测试:由将来使用或拥有软件的人,用写清「谁、做什么、看到什么结果」的场景,检查它能否完成业务需要做的事,其中也包括埋点事件是否按方案发出。
公式: 事件通过率 = 已到达且必填属性完整度达到门槛的事件 ÷ 范围内的事件
什么是 UAT 测试?
UAT(用户验收测试)是发布前的最后一道测试:由将来使用或拥有这套软件的人,检查它能不能完成业务需要做的事。ISTQB 术语表把它定义为一种验收测试,目的是确定预期用户是否接受这个系统。它的产出是一个决定(接受或拒绝),而不是缺陷数量。
正是这个决定,把 UAT 和它之前的测试区分开。单元测试、集成测试、系统测试问的是软件是否符合规格;UAT 问的是规格做出来之后,对出钱的人到底管不管用:财务能不能完成月结,带优惠码的顾客能不能下单,客服能不能找到客户上一笔订单。软件可能通过所有技术测试,却因为需求理解错了而在 UAT 里被拒。
要让这个决定可以检查,验收标准就得写成场景:谁做什么,应该看到什么结果。而且现在发布好不好要靠数据来判断,所以其中一个结果应该是:埋点事件按埋点方案发出来了。结账流程能用、却不发购买事件,肉眼验收能过,头一份收入报表就会露馅。
这个词常被写成「UAT 测试」,严格说是重复(T 本身就是测试),但大多数人就是这么搜的。别的叫法还有最终用户测试、业务验收测试、验收测试。
UAT 和 QA、Alpha、Beta 测试的区别
| QA / 系统测试 | Alpha 测试 | Beta 测试 | UAT | |
|---|---|---|---|---|
| 谁来测 | QA 工程师 | 开发团队以外的员工 | 主动加入的真实外部用户 | 业务负责人、关键用户或甲方 |
| 环境 | 测试环境 | 开发方环境 | 用户自己的设备 | 接近生产的预发 / UAT 环境 |
| 对照什么 | 功能和技术规格 | 「到底能不能用?」 | 真实环境下的质量和稳定性 | 约定的业务需求 |
| 常见产出 | 缺陷报告、用例通过率 | 是否进入 Beta 的决定 | 是否发布的决定 | 正式签字确认或拒绝 |
| 谁能叫停发布 | QA 负责人 | 产品团队 | 产品团队 | 负责验收的业务方 |
最容易混的是 UAT 和 QA。QA 检查「使用优惠码」按钮有没有调用折扣服务、返回的金额对不对;UAT 检查市场经理能不能按计划上线周末促销:优惠码、邮件链接、订单确认,以及能看出多少订单用了券的报表。
Alpha 测试和 Beta 测试由谁来测、在哪测来定义;UAT 由谁来拍板来定义。在 ISTQB 的词汇里,Alpha 和 Beta 本身就是验收测试的两种类型。面向消费者的 App,封闭 Beta 常常兼作 UAT;内部系统和外包项目里,UAT 通常是单独排期、有指定审批人的阶段。签字之后,金丝雀发布还能限制 UAT 漏掉的问题造成的损失。
验收测试的几种类型
- 业务(用户)验收测试。关键用户端到端地跑真实业务场景。大多数人说的 UAT 就是这个。
- 运维验收测试。将来运维这套系统的团队检查备份、监控、告警、恢复和支持流程。ISTQB 把它单列为一种类型。
- 合同验收测试。按合同里写明的验收标准检查软件,外包和甲乙方项目里常见。
- 法规验收测试。按法律或行业规定检查系统,例如同意管理、审计日志。
- Alpha 和 Beta 测试。分别在开发方环境和用户自己的环境里由用户验收,见上文。
谁来做 UAT,什么时候做
UAT 由代表用户、对结果负责的人来做:产品负责人,内部系统的运营或财务负责人,外包项目的甲方,或者由他们挑选的一组关键用户。开发和 QA 在旁支持、修缺陷、准备数据,但不签字。
开始的条件是:系统测试已完成、没有未关闭的严重缺陷、UAT 环境和生产一致(同样的配置、贴近真实的数据、同样的集成),并且场景已经写好、各方认可。结束时要有一份签字文件,列出每条场景、结果,以及接受的已知问题。只要缺了其中一条,UAT 就会变成由没受过训练的人做的第二轮 QA。
怎样写验收场景
一条场景要写清角色、起始状态、动作和能观察到的结果。Gherkin 的 Given / When / Then(假如 / 当 / 那么)格式很好用,因为每一部分都能由没看过代码的人检查。下面是网店上线优惠码功能的 5 个例子:
- 假如一位已登录顾客的购物车里有有效优惠码 SPRING20,当他使用这个码,那么订单总额减少 20%,付款前出现「SPRING20 −20%」这一行。
- 假如是一个过期的码,当顾客使用它,那么总额不变,并提示「此优惠码已过期」。
- 假如市场经理创建一个限用 500 次的码,当有人尝试第 501 次使用,那么被拒绝。
- 假如有一笔用了 SPRING20 的已完成订单,当客服打开这笔订单,那么能看到优惠码和折扣金额。
- 假如有一笔用了 SPRING20 的已完成订单,当订单提交,那么分析系统几分钟内收到
coupon_applied(带coupon_code)和checkout_completed(带order_id和revenue)两个事件,所有必填属性都有值。
第 5 条是多数 UAT 计划会漏掉的。它和其他几条一样可以检查;如果它没通过,功能虽然能用,促销效果却没法衡量。
数据验收清单
发布改动了用户可见的流程时,签字之前要像检查界面一样检查数据。埋点方案就是数据的规格说明:
- 每个计划中的事件都到了。本次发布范围内的每个事件,都能看到来自 UAT 环境、由应该触发它的场景产生的命中。
- 必填属性有值。必填属性几乎全部有值,而不是「大部分有」。事先定一个门槛,例如 95%。
- 值的类型和格式正确。收入是数字,不是带货币符号的字符串;ID 符合下游系统要求的格式。
- 没有计划外的事件。改名或拼错的事件会以没人计划过的新名字出现。
- 测试流量能分开。UAT 的命中可以被筛掉,或者发到测试项目里,不会混进生产报表。
- 依赖这些事件的报表还能用。上线后业务要看的漏斗或收入报表,能正确显示 UAT 产生的订单。
算例:事件通过率
示例数据:上面的优惠码发布,埋点方案里有 12 个事件在范围内。在 24 小时的 UAT 窗口里,测试者把每条场景都跑一遍。事先约定的通过规则:事件到达,且至少 95% 的命中带齐了所有必填属性,才算通过。
| 事件 | 24 小时命中 | 必填属性 | 带齐的命中 | 完整度 | 结果 |
|---|---|---|---|---|---|
checkout_completed | 412 | order_id、revenue | 412 | 全部有值 | 通过 |
coupon_applied | 58 | coupon_code | 51 | 51 ÷ 58 = 87.9% | 不通过 |
signup_completed | 120 | plan | 109 | 109 ÷ 120 = 90.8% | 不通过 |
| 其余 9 个事件 | 都 > 0 | 各不相同 | 每个 ≥ 98% | 通过 |
事件通过率 = 通过的事件 ÷ 范围内的事件 = 10 ÷ 12 = 83.3%。
5 条业务场景在界面上全部通过,如果不查数据,UAT 就签字了。数据检查暴露了两个问题。有 7 次 coupon_applied(58 − 51)没带优惠码,原因是顾客从邮件链接带入优惠码、而不是在购物车里手动输入时会漏传。有 11 次 signup_completed(120 − 109)缺少套餐,因为免费套餐不传值。活动报表会把用券次数少算 12.1%(7 ÷ 58),并有 9.2%(11 ÷ 120)的注册显示为没有套餐。
决策规则把这些变成明确的结论:两个事件都要进上线报表,所以两个都修好、并通过新一轮 24 小时检查之前,发布不签字。修复只是在两条代码路径里各补一个属性赋值,复查时两个事件的必填属性都全部有值。
常见误区
- 把 UAT 当成又一轮 QA。如果用户还在发现崩溃和按钮失灵,说明版本还没到 UAT 的程度,退回去。
- 验收标准含糊。「结账要好用」没法判通过或不通过。写清谁、做什么、预期结果。
- 用不真实的数据测。10 个整整齐齐的测试商品,会掩盖 1 万个真实商品才会暴露的问题。
- 没有指定审批人。没有一个能说「不」的人,UAT 就会在发布日到来时自动结束。
- 把埋点排除在范围外。上线后头一份报表看着不对、活动已经在跑,才去验证事件。
- UAT 流量混进生产数字。测试订单会抬高转化率和收入,除非筛掉或发到别处。
在 TapCub 里于 UAT 期间验收埋点数据
上面的算例可以直接搬到 TapCub 的埋点方案里:12 个事件、24 小时窗口、完整度门槛。
- UAT 之前把本次发布的事件写进方案。在全端分析 › 数据管理 › 埋点方案里,每一行包含事件名、平台、触发时机、属性(可标必填)、负责人和状态。已经开发完、等待验收的事件改为「验收中」,表示已经有上报、还在看属性齐不齐。见创建埋点方案。
- UAT 窗口内打开「实时验证(近 24 h)」。方案会多出两列:近 24 小时命中数和必填属性完整度。这就是算例里那张表:
coupon_applied58 次命中、87.9%,在一排「全部有值」里很显眼。完整度低只是提示,除非你在属性字典里加了校验规则,否则不会拦截入库。 - 抓出计划外的事件。拼错或改名的事件不会悄悄混进报表:新出现的事件名先进入全端分析 › 数据管理 › 事件收件箱,有人认领之后才进入正式定义。
- 找到丢失的数据。如果某个事件的命中比场景产生的少,全端分析 › 数据管理 › 数据质量会显示数据在哪一步丢了:域名不匹配、排除规则、额度、限流,还是数据格式错误。
- 把验收通过的事件标为上线。签字之后把这些行改成「已上线」;把方案同步到事件定义时,对应的定义也会标为已上线。
TapCub 不管理 UAT 用例、审批人或签字文件。它检查的是场景里「数据」那一半:每个计划中的事件有没有到、到得全不全。
资料来源
- ISTQB 术语表:user acceptance testing。
- ISTQB 术语表:acceptance criteria。
- Cucumber:Gherkin 参考文档。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
