移动测试工具应当按它回答的问题来分:功能对不对、在用户设备上能不能用、快不快稳不稳、发版后真实用户碰到什么。前三类在版本发布前运行;只有第四类真实用户数据,能看到实际发生了什么。下面是四类工具、一个发版对比算例和发版前后检查清单。
读完你会知道
- 按回答的问题选工具,而不是看排行榜:功能、兼容、性能、真实用户
- 测试设备按自己的活跃用户占比选:样本里 6 个机型覆盖 81%,8 个覆盖 90%
- 按版本、按设备比较崩溃率;2.0% 的汇总数字掩盖了一个 15.0% 的机型
哪一类移动测试工具回答哪一个问题?
市面上的移动测试工具清单,把回答完全不同问题的产品混在一起。更实用的办法是按问题分类。Android 官方测试指南按测试对象分成功能、性能、无障碍和兼容性;再加上发版后真实用户的使用情况,就是四个问题,需要四类工具。
| 问题 | 工具类型 | 什么时候跑 | 它回答不了什么 |
|---|---|---|---|
| 功能对不对? | 单元、集成和界面测试框架,本机或真机运行 | 每次提交、发版前 | 有没有人用这个功能,也不知道没测过的手机上会怎样 |
| 在用户的设备上能不能用? | 模拟器、真机实验室、内测渠道 | 发版前,按设备矩阵跑 | 你的用户里各机型各占多少 |
| 快不快、稳不稳? | 性能分析器、压力和启动基准测试 | 发版前、候选版本上 | 真实网络、真实电量、真实数据下的表现 |
| 真实用户做了什么、碰到什么? | 应用统计:崩溃、错误、版本、事件、漏斗 | 发版后持续看 | 为什么出问题;它只告诉你在哪里、发生在谁身上 |
前三类是大多数清单覆盖的内容,都在版本到用户手里之前运行。只有第四类能看到发版之后发生了什么,也是判断前三类够不够用的依据。下面按顺序展开,然后给出发版前后清单和一个发版对比的算例。如果你的问题是用户会不会用,那属于可用性测试,见 移动应用可用性测试。
功能测试:应用有没有做到该做的?
功能测试检查行为:点「继续」,应该出现欢迎页。Android 测试基础文档把测试按范围分三档:小测试(单元)检查一个方法或类,中测试检查两个以上单元的配合,大测试(端到端)检查整个界面或用户流程。它还按运行位置区分:本地测试在开发机上跑,仪器化测试在真机或模拟器上跑。
三条判断规则让这一层成本可控:
- 不需要界面就能测的规则,就不要带界面测。 价格、校验、状态逻辑放在小的本地测试里,几秒跑完,也很少不稳定。
- 大的真机测试只留给赚钱的路径。 注册、登录、结账,以及你卖的那个核心功能。Android 文档指出,无法隔离的代码会逼出更大、更慢、更不稳的测试,这就是要把代码结构做得好测的理由。
- 重复的自动化,新的先探索。 同一份文档说手工测试难以扩展、容易漏掉回归,但新功能仍然需要有人先手动试几次奇怪的输入,再去写脚本。
这一层告诉不了你哪些流程重要,那要看使用数据。如果只有 2% 的会话会走到设置页,给它写一条很长的真机测试,优先级就低于 60% 会话都会走的流程。
兼容性测试:该在哪些设备上测?
手机测不完,所以设备矩阵要从你自己的用户里选,不要用通用名单。把机型和系统版本按活跃用户排序,一行一行加,直到覆盖你想要的比例。
示例数据:某商城应用 30 天内按机型统计的活跃用户。
| 机型 | 活跃用户占比 | 累计 |
|---|---|---|
| 机型 A | 22% | 22% |
| 机型 B | 18% | 40% |
| 机型 C | 14% | 54% |
| 机型 D | 11% | 65% |
| 机型 E | 9% | 74% |
| 机型 F | 7% | 81% |
| 机型 G | 5% | 86% |
| 机型 H | 4% | 90% |
| 其余全部 | 10% | 全部 |
6 个机型覆盖 81% 的用户,8 个覆盖 90%。最后 10% 是许多机型组成的长尾,这个样本里每个都不到约 1%,再加设备收益很小。由此得到两条规则:
- 先覆盖约 80%–90% 用户的机型,再补有风险的。 有风险指:支持的最老系统版本、最小的屏幕、最低的内存,以及有过崩溃记录的机型。
- 按证据补充。 线上某个机型出现崩溃集中,就把它加进矩阵并一直留着。
系统版本同理:按活跃用户列出版本,测最新的、你支持的最老的,以及中间最常见的。统计工具能不能报出机型、系统版本、分辨率和网络,取决于 SDK 采集了什么,用之前先确认这些字段确实到了。
性能测试:够不够快、够不够稳?
性能测试在用户感受到之前检查速度、内存和响应。先定预算再测,否则每个结果都是「看着还行」。
- 启动时间。 冷启动(进程从零开始)和热启动分开测,用低端机,不要用你自己的开发机。
- 响应。 在 Android 上,应用在 5 秒内没有响应输入事件就会触发 ANR(应用无响应),所以主线程上接近这个量级的工作都算缺陷,更短的卡顿用户其实已经看得见。
- 内存。 低内存设备是内存溢出崩溃出现的地方;Android 的崩溃指南建议遇到这类问题时用低内存模拟器复现。
- 网络。 用户会进出信号覆盖区。同一份指南说网络异常是正常的运行条件,所以要测飞行模式和慢速网络,确认应用是降级而不是崩溃。
关于什么算差,可以参考 Google Play 为自家 Android vitals 公布的阈值:用户感知崩溃率,整体为每日用户的 1.09%,单个机型为 8%;用户感知 ANR 率,整体 0.47%,单个机型 8%。这些按 28 天统计,用的是 Google 自己的定义,所以只能当作你自己数字的参照,不要当成你的统计工具会对上的目标。
实验室性能测试有个盲区:它用的是你的设备、你的网络、你的数据。一个版本可能通过所有基准测试,却对某个机型上存储空间已满的那 8% 用户依然很慢。第四类工具就是补这个缺口的。
真实用户数据:发版之后发生了什么?
发版之后,问题从「能不能用」变成「有多少人遇到问题、在哪个版本、哪种设备上」。这时看数量会误导,因为新版本刚开始用户少。要看比率:崩溃用户数除以活跃用户数,按版本分开。
示例数据:4.3 版分批放量,三天后有 6,000 活跃用户;4.2 版在同一周有 40,000。
| 切片 | 活跃用户 | 崩溃用户 | 无崩溃占比 |
|---|---|---|---|
| 4.2 版,全部设备 | 40,000 | 400 | 99.0% |
| 4.3 版,全部设备 | 6,000 | 120 | 98.0% |
| 4.3 版,机型 X | 600 | 90 | 85.0% |
| 4.3 版,其余全部机型 | 5,400 | 30 | 99.4% |
无崩溃占比 = 1 − 崩溃用户数 ÷ 活跃用户数。4.3 版:120 ÷ 6,000 = 2.0%,无崩溃占比 98.0%,而 4.2 版崩溃用户占 1.0%。差 1.0 个百分点。用标准的两比例检验,标准误是 0.19 个百分点,差值的 95% 区间约为 0.63 到 1.37 个百分点:这不是噪声。
再按设备切。机型 X 有 600 用户、90 个崩溃用户,占 15.0%。其余机型加起来 5,400 人里只有 30 个崩溃用户,占 0.56%,比 4.2 版的 1.0% 还好。这个版本整体并不更差,是一个机型坏得很严重。该做的是针对这个机型热修或暂停放量,而不是把所有人回滚。只看汇总数字,就会做出错误的决定。
启动时间的读法一样:如果冷启动中位数从 1.8 秒变成 2.6 秒,慢了 44.4%,接下来要查是全面变慢,还是只在旧设备上。
每次发版前后要检查什么
| 时间 | 检查项 | 通过规则(示例) |
|---|---|---|
| 发版前 | 每次提交跑小测试和中测试 | 发布分支全部通过 |
| 发版前 | 赚钱路径的真机测试 | 在覆盖约 80%–90% 用户的矩阵上通过 |
| 发版前 | 最低支持设备上的启动和内存 | 不超过你设定的预算 |
| 发版前 | 统计事件带必填属性发出 | 每个计划中的事件都带着必填字段到达 |
| 放量第 1–3 天 | 按版本、按设备看无崩溃占比 | 整体与旧版相差在约 0.5 个百分点内;没有单个机型明显更差 |
| 放量第 1–3 天 | 新流程的自定义错误和漏斗步骤 | 没有哪一步比上个版本下降 |
| 第 7 天 | 留存和启动中位数,对比上个版本 | 没有无法解释的下降 |
| 随时 | 某个机型或系统版本明显差于其他 | 对该切片暂停放量,再修复 |
通过规则里的 0.5 个百分点只是起步用的经验值,要按你自己的历史调整,不是标准。重要的是规则在发版之前就写好了。
选用和使用移动测试工具的常见误区
- 把一长串工具当成覆盖计划。 覆盖看的是回答了几个问题,而不是用了几个产品。确认四个问题每个都有人负责。
- 看崩溃数量而不是崩溃率。 旧版本崩溃总是更多,因为它的用户更多。
- 跨设备取平均。 算例里 2.0% 的汇总掩盖了一个 15.0% 的机型。一定要按设备和系统切开看。
- 只在最新手机上测。 实验室里有快手机,你的用户不都有。
- 跳过统计事件校验。 新页面不发事件,漏斗就会看起来像流失。先验证事件,再怪用户。
- 指望统计代替测试。 统计告诉你用户碰到之后出了问题,测试是在他们碰到之前拦住。
在 TapCub 里怎么做发版后那一半
TapCub 不是自动化测试工具:它不跑测试脚本、不租设备、不分析代码性能。它负责第四个问题和第三个问题的一部分,也就是真实用户拿到版本之后。上面 4.3 放量的例子,在控制台里这样走:
- 发版前先规划事件。 在 全端分析 › 数据管理 › 埋点方案 里列出新流程应该发送的事件,写明必填属性和状态。测试包跑起来后,打开实时验证(近 24 小时),看每个事件有没有到达、必填属性是否完整。
- 放量第 1 天看版本表。 应用统计 › 用户分析 › 版本分布 列出每个版本的活跃用户占比、崩溃数和首次出现日期。某个版本第一天出现时,TapCub 还会在趋势图上加一条发版标注,之后的变化能和它对上。
- 读无崩溃占比。 应用统计 › 质量与归因 › 稳定性 显示无崩溃占比(1 − 崩溃用户数 ÷ 活跃用户数)、ANR、界面卡死、启动次数,以及冷启动、热启动和内存的中位数。用页头筛选缩小到 4.3,再和 4.2 对比。
- 按设备切。 应用统计 › 质量与归因 › 设备 按机型、系统版本等拆开用户,按活跃用户排序。和稳定性页的筛选配合,找出崩溃的那个机型。出现哪些设备字段取决于各 SDK 采集了什么。
- 按组处理错误。 错误组可以标成活跃、已解决或已忽略。应用以自定义错误上报的业务错误单独一个页签计数,不影响无崩溃占比。
TapCub 不会替你暂停放量,也不会修复问题,它只告诉你在哪里、发生在谁身上。要和应用商店的发布控制和你自己的流水线配合使用。更多应用指标见 移动应用 KPI;版本和发布跟踪见 应用版本管理 和 提升应用性能;想了解对线上站点做实验室式探测是什么样,见 合成监控。
FAQ
什么是移动测试工具?
它们是在发版前后检查移动应用的软件。实际上分四类:功能测试框架、兼容性实验室和模拟器、性能分析器和基准测试,以及针对崩溃、版本和事件的真实用户统计。每类回答不同的问题,所以很少有一个产品能覆盖四类。
我应该先用哪些移动测试工具?
先给核心逻辑写小型自动化测试,每条赚钱路径配一个真机测试,再接上能按版本和设备筛选的崩溃上报。这样覆盖了最痛的两个问题:我们有没有改坏什么,以及某次发版有没有对真实用户改坏。随着应用和用户增长,再加设备实验室和性能基准测试。
应该在多少台设备上测?
足够覆盖你实际用户的大部分。上面的样本里,6 个机型覆盖 81%,8 个覆盖 90%。把你自己的机型按活跃用户排序,在再加设备收益很小的地方停下,然后补上支持的最老系统,以及有崩溃记录的机型。
无崩溃率多少算好?
没有统一的数字。Google Play 会标记用户感知崩溃率整体超过每日用户 1.09%、或单个机型超过 8% 的应用,但各工具的定义不同。把每个版本和上一个版本比,并留意是否有单个机型明显差于其他。
还需要手工测试吗?
需要,用于新功能、可用性和奇怪的输入。Android 的指南说手工测试难以扩展、容易漏掉回归,所以重复的事要自动化。让人做探索和判断,再用真实用户数据确认实验室里通过的,在现场也能用。
资料来源
这篇文章对你有帮助吗?
我们会根据反馈修改和补充这篇内容。
提交没有成功,请稍后再试。
谢谢你的反馈,我们会据此改进这篇内容。你已经反馈过这篇了,谢谢。

