一句话回答
冒烟测试是对每个新构建或新发布的版本做的一组快速、浅层的检查,在更深的测试或上线之前确认最关键的功能还能用。它要快、能自动化、结果只有通过或不通过:任何一条关键路径失败,版本就打回。
公式: 不通过的条件:观察值 < 预期 − 3 × √预期,其中预期 = 上周的数 × 本周会话 ÷ 上周会话
什么是冒烟测试?
冒烟测试是对新构建或新发布的版本做的一组简短、浅层的检查,只回答一个问题:最关键的几条路径还通不通?通,这个版本才值得继续测试或上线;任何一条不通,就当场停下、把版本打回去,因为在一个坏版本上做更深的测试,只会浪费所有人的时间。
名字来自硬件:给新电路板通电,看它会不会冒烟。也有人把它追溯到水管工:往新装的管道里灌烟,看哪里漏。同一个意思还有别的叫法:构建验证测试(BVT)、信心测试和准入测试。微软的工程指南把冒烟测试描述为一道快速的关口:应用通过,说明它足够稳定,可以进入后续测试或部署;没通过,这个版本剩下的步骤就可以停掉。
本条目的核心是一条规则:冒烟测试要快、要浅、要能自动化,结果只有通过和不通过两种。 如果一项检查要花一小时、需要人来判断或要覆盖边缘情况,它属于回归测试,不属于冒烟测试。
冒烟、健全性和回归测试对照
这几个词经常被混用,有些资料把冒烟测试和健全性测试当成一回事。下面是一个可操作的划分:
| 测试 | 什么时候跑 | 深度 | 回答什么问题 | 典型规模 |
|---|---|---|---|---|
| 冒烟测试 | 每个新构建或新发布 | 浅,覆盖整个产品 | 这个版本到底能不能用? | 5 到 15 项检查,几分钟 |
| 健全性测试 | 小改动或修复之后 | 窄,只看一个区域 | 这次改动做到了该做的,而且没有明显破坏别的吗? | 少数几项检查 |
| 回归测试 | 发布前,常常每晚 | 深而广 | 以前能用的东西有没有坏? | 几百到几千项检查,几个小时 |
另外四个术语讲的是「谁来测」,不是「测多深」:
- Alpha 测试由团队内部在未完成的产品上进行。
- Beta 测试把基本完成的产品交给外部真实用户。
- 用户验收测试是客户或业务负责人确认产品满足约定的要求。
- 金丝雀测试把一小部分线上流量切到生产环境里的新版本。
冒烟测试可以放在它们任何一个的前面:在 Alpha 之前对构建跑一遍,在放出 Beta 之前跑一遍,在验收开始之前跑一遍,金丝雀放出后又在生产环境上马上跑一遍。
一份好的冒烟测试是什么样
- 快。 几分钟,不是几小时。定一个时间预算(比如 10 分钟),当成硬上限。
- 浅。 每个关键功能只走一条正常路径。不测边缘情况,不测冷门浏览器。
- 尽量自动化。 每个构建都会跑,不靠谁来决定要不要费这个事。手工检查第一个版本可以用,但赶工期时往往会被跳过。
- 一道硬关口。 有一项失败就是不通过。「大部分通过了」就放行的冒烟测试,会教会团队忽略它。
- 有人负责。 由一个明确的人或团队保持清单的更新。
Steve McConnell 常被引用的每日构建(daily build)一文说,冒烟测试应当端到端地跑遍整个系统但不求面面俱到,并且必须随系统一起演进,而这也正是它出问题的原因(见误区一节)。
一份 8 项的冒烟清单
按你的产品调整;关键是它的形状:几条关键的用户路径、几个关键的依赖项,外加一项对数据的检查。
- 网站或应用能启动,首页加载没有报错。
- 注册或登录用测试账号能完成。
- 核心操作可用:搜索有结果、能创建项目、能发出消息。
- 结账或支付在测试模式下能走完。
- 关键接口在规定时间内返回成功。
- 一次写入和一次读取对数据库能正确往返。
- 关键的第三方有响应:支付服务的回调、邮件或短信发送、登录服务。
- 关键分析事件会到达:支撑收入和增长数字的事件,比如
sign_up和purchase,仍在发送,而且必填属性齐全。
八项是预算,不是目标。要加第九项,就得去掉一项。最后一项是大多数团队会忘的。一次发布可以通过所有功能检查,却把埋点弄丢,因为改了名的按钮或改过的页面模板悄悄让某个事件不再触发。没有人看到报错,仪表盘只是安静了。所以列出必须触发的事件的埋点方案,正好是第 8 项的来源。
算例:发版后 30 分钟的购买事件
示例数据:一家商店周二 14:00 发布新版本。第 8 项的冒烟检查,是把发布后前 30 分钟(14:00 到 14:30)的 purchase 事件,和上周同一个星期几、同一个时段做对比。
| 上周二 14:00 到 14:30 | 本周二 14:00 到 14:30 | |
|---|---|---|
| 会话 | 1,850 | 1,920 |
purchase 事件 | 62 | 31 |
| 每 1,000 个会话的购买数 | 62 ÷ 1,850 × 1,000 = 33.5 | 31 ÷ 1,920 × 1,000 = 16.1 |
比率下降了 16.1 ÷ 33.5 − 1 = −51.8%。但在 30 分钟的窗口里,这比正常波动大吗?这样的事件数大致按泊松计数波动,它的标准差是均值的平方根。把上周的数按本周流量折算:预期值 = 62 × 1,920 ÷ 1,850 = 64.3。下面这条规则在观察值比预期低出超过三个标准差时判定为不通过:
- 阈值 = 64.3 − 3 × √64.3 = 64.3 − 24.1 = 40.2。
- 观察值 31 < 40.2,所以这项检查不通过。(它比预期低 (31 − 64.3) ÷ √64.3 ≈ −4.2 个标准差。)
不通过并不告诉你原因:要么埋点坏了,要么购买真的掉了。下一项检查把两者分开:对照订单系统里同一时段的订单。订单正常而事件只剩一半,是这次发布弄坏了埋点;两者都只剩一半,是这次发布弄坏了结账。两种情况都要拦下发布,答案决定该叫醒谁。
这条规则需要足够的量。 预期值很小时,同样的方法得出的阈值毫无用处:
| 窗口内的预期事件数 | 低于多少判不通过(预期 − 3 × √预期) | 差距占预期的比例 |
|---|---|---|
| 100 | 70.0 | 30% |
| 40 | 21.0 | 47% |
| 20 | 6.6 | 67% |
| 10 | 0.5 | 95% |
预期是 10 时,只有零事件才会触发规则。对于量小的事件,把窗口放宽(几个小时,或和前一天对比),直到预期至少达到 30,或者改用更简单的规则:「N 分钟内一个事件也没有」。
冒烟测试的常见误区
- 当回归测试用。 如果冒烟测试涨到几百个用例,它就不再是关口。McConnell 指出,随项目变大,冒烟测试可能增长到 30 分钟甚至更久;定一个时间预算,把超出的部分移到回归测试里。
- 清单只增不减。 每出一次事故就加一项,最后会有 60 项没人信任。每增加一项都要去掉一项。
- 忽略数据这一层。 一次发布通过了所有功能检查,却弄坏了
purchase埋点,在有人察觉之前会污染几周的报表。 - 忽略部分通过。 「八项过了七项」就是不通过。关口的意义就在于它是二选一。
- 只在预发环境跑。 环境差异会让预发通过时生产失败。每次部署后,在生产环境上跑一个只读的子集。
- 把通过当成质量结论。 冒烟测试只说明这个版本没有明显损坏,对那 400 条不太常见的路径什么也没说。
在 TapCub 里给埋点做冒烟测试
拿清单里的第 8 项和 purchase 算例来说。TapCub 不会运行你的测试套件,也不会拦截发布;它告诉你这次发布本该发送的事件有没有到达。
- 在埋点方案里列出必须触发的事件。 在 全端分析 › 数据管理 › 埋点方案 里,记录每个事件的平台、触发时机、必填属性和负责人,上线后把状态设为「已上线」。这份清单就是你的第 8 项。
- 发版后打开「实时验证(近 24 h)」。 它会多出两列:近 24 小时的命中数,以及必填属性的完整度。
purchase命中为零,或必填属性缺失,就是你的不通过。完整度低是警告,本身不会拦截进来的数据。近 24 小时的计数对算例里 30 分钟的对比来说太粗,所以把它当作快速浏览,精确的检查要对照订单系统。 - 在图表上标出这次发布。 在 配置 › 日期标注 里加一条标注,之后几小时里的任何下滑,都可以对照发布时间来读。
- 给要紧的事件加一个按小时的监控。 先保存一个事件次数的自定义指标,再在 全端分析 › 智能运营 › 监控 里建监控,条件用环比变化或固定阈值。试运行会告诉你过去 30 天会触发几次。监控最细按小时检查,而且只通知,不会回滚任何东西。
- 查数据为什么没了。 全端分析 › 数据管理 › 数据质量 按原因列出采集警告和采集拒收,比如域名不匹配或命中了排除规则,帮你区分是埋点出错还是配置变了。
资料来源
- 维基百科,Smoke testing (software):定义、名称由来和别名。
- 微软 Engineering Fundamentals Playbook,Smoke testing:冒烟测试作为进入后续测试或部署前的快速关口。
- Steve McConnell,Daily Build and Smoke Test:端到端冒烟测试及其增长。
- NIST/SEMATECH 统计方法电子手册,泊松分布:均值等于方差,用于阈值规则。
这个解释清楚吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。
