TapCub 正式上线:统计、分析、客服一个平台免费用
数据分析

移动测试工具:四类工具各自回答什么问题

移动测试工具回答四个不同的问题:功能对不对、在用户设备上能不能用、快不快稳不稳、发版后真实用户碰到什么。附发版前后检查清单和一个发版对比算例。

许安 发布于 2026 年 11 月 19 日 11 分钟阅读 数据分析
示例数据:新版本整体看起来差 1.0 个百分点,但其实是一个崩溃用户占 15.0% 的机型造成的;其余机型都比旧版本更好。示例数据

移动测试工具应当按它回答的问题来分:功能对不对、在用户设备上能不能用、快不快稳不稳、发版后真实用户碰到什么。前三类在版本发布前运行;只有第四类真实用户数据,能看到实际发生了什么。下面是四类工具、一个发版对比算例和发版前后检查清单。

读完你会知道

  • 按回答的问题选工具,而不是看排行榜:功能、兼容、性能、真实用户
  • 测试设备按自己的活跃用户占比选:样本里 6 个机型覆盖 81%,8 个覆盖 90%
  • 按版本、按设备比较崩溃率;2.0% 的汇总数字掩盖了一个 15.0% 的机型

哪一类移动测试工具回答哪一个问题?

市面上的移动测试工具清单,把回答完全不同问题的产品混在一起。更实用的办法是按问题分类。Android 官方测试指南按测试对象分成功能、性能、无障碍和兼容性;再加上发版后真实用户的使用情况,就是四个问题,需要四类工具。

问题工具类型什么时候跑它回答不了什么
功能对不对?单元、集成和界面测试框架,本机或真机运行每次提交、发版前有没有人用这个功能,也不知道没测过的手机上会怎样
在用户的设备上能不能用?模拟器、真机实验室、内测渠道发版前,按设备矩阵跑你的用户里各机型各占多少
快不快、稳不稳?性能分析器、压力和启动基准测试发版前、候选版本上真实网络、真实电量、真实数据下的表现
真实用户做了什么、碰到什么?应用统计:崩溃、错误、版本、事件、漏斗发版后持续看为什么出问题;它只告诉你在哪里、发生在谁身上

前三类是大多数清单覆盖的内容,都在版本到用户手里之前运行。只有第四类能看到发版之后发生了什么,也是判断前三类够不够用的依据。下面按顺序展开,然后给出发版前后清单和一个发版对比的算例。如果你的问题是用户会不会用,那属于可用性测试,见 移动应用可用性测试。

功能测试:应用有没有做到该做的?

功能测试检查行为:点「继续」,应该出现欢迎页。Android 测试基础文档把测试按范围分三档:小测试(单元)检查一个方法或类,中测试检查两个以上单元的配合,大测试(端到端)检查整个界面或用户流程。它还按运行位置区分:本地测试在开发机上跑,仪器化测试在真机或模拟器上跑。

三条判断规则让这一层成本可控:

  • 不需要界面就能测的规则,就不要带界面测。 价格、校验、状态逻辑放在小的本地测试里,几秒跑完,也很少不稳定。
  • 大的真机测试只留给赚钱的路径。 注册、登录、结账,以及你卖的那个核心功能。Android 文档指出,无法隔离的代码会逼出更大、更慢、更不稳的测试,这就是要把代码结构做得好测的理由。
  • 重复的自动化,新的先探索。 同一份文档说手工测试难以扩展、容易漏掉回归,但新功能仍然需要有人先手动试几次奇怪的输入,再去写脚本。

这一层告诉不了你哪些流程重要,那要看使用数据。如果只有 2% 的会话会走到设置页,给它写一条很长的真机测试,优先级就低于 60% 会话都会走的流程。

兼容性测试:该在哪些设备上测?

手机测不完,所以设备矩阵要从你自己的用户里选,不要用通用名单。把机型和系统版本按活跃用户排序,一行一行加,直到覆盖你想要的比例。

示例数据:某商城应用 30 天内按机型统计的活跃用户。

机型活跃用户占比累计
机型 A22%22%
机型 B18%40%
机型 C14%54%
机型 D11%65%
机型 E9%74%
机型 F7%81%
机型 G5%86%
机型 H4%90%
其余全部10%全部

6 个机型覆盖 81% 的用户,8 个覆盖 90%。最后 10% 是许多机型组成的长尾,这个样本里每个都不到约 1%,再加设备收益很小。由此得到两条规则:

  • 先覆盖约 80%–90% 用户的机型,再补有风险的。 有风险指:支持的最老系统版本、最小的屏幕、最低的内存,以及有过崩溃记录的机型。
  • 按证据补充。 线上某个机型出现崩溃集中,就把它加进矩阵并一直留着。

系统版本同理:按活跃用户列出版本,测最新的、你支持的最老的,以及中间最常见的。统计工具能不能报出机型、系统版本、分辨率和网络,取决于 SDK 采集了什么,用之前先确认这些字段确实到了。

性能测试:够不够快、够不够稳?

性能测试在用户感受到之前检查速度、内存和响应。先定预算再测,否则每个结果都是「看着还行」。

  • 启动时间。 冷启动(进程从零开始)和热启动分开测,用低端机,不要用你自己的开发机。
  • 响应。 在 Android 上,应用在 5 秒内没有响应输入事件就会触发 ANR(应用无响应),所以主线程上接近这个量级的工作都算缺陷,更短的卡顿用户其实已经看得见。
  • 内存。 低内存设备是内存溢出崩溃出现的地方;Android 的崩溃指南建议遇到这类问题时用低内存模拟器复现。
  • 网络。 用户会进出信号覆盖区。同一份指南说网络异常是正常的运行条件,所以要测飞行模式和慢速网络,确认应用是降级而不是崩溃。

关于什么算差,可以参考 Google Play 为自家 Android vitals 公布的阈值:用户感知崩溃率,整体为每日用户的 1.09%,单个机型为 8%;用户感知 ANR 率,整体 0.47%,单个机型 8%。这些按 28 天统计,用的是 Google 自己的定义,所以只能当作你自己数字的参照,不要当成你的统计工具会对上的目标。

实验室性能测试有个盲区:它用的是你的设备、你的网络、你的数据。一个版本可能通过所有基准测试,却对某个机型上存储空间已满的那 8% 用户依然很慢。第四类工具就是补这个缺口的。

真实用户数据:发版之后发生了什么?

发版之后,问题从「能不能用」变成「有多少人遇到问题、在哪个版本、哪种设备上」。这时看数量会误导,因为新版本刚开始用户少。要看比率:崩溃用户数除以活跃用户数,按版本分开。

示例数据:4.3 版分批放量,三天后有 6,000 活跃用户;4.2 版在同一周有 40,000。

切片活跃用户崩溃用户无崩溃占比
4.2 版,全部设备40,00040099.0%
4.3 版,全部设备6,00012098.0%
4.3 版,机型 X6009085.0%
4.3 版,其余全部机型5,4003099.4%

无崩溃占比 = 1 − 崩溃用户数 ÷ 活跃用户数。4.3 版:120 ÷ 6,000 = 2.0%,无崩溃占比 98.0%,而 4.2 版崩溃用户占 1.0%。差 1.0 个百分点。用标准的两比例检验,标准误是 0.19 个百分点,差值的 95% 区间约为 0.63 到 1.37 个百分点:这不是噪声。

再按设备切。机型 X 有 600 用户、90 个崩溃用户,占 15.0%。其余机型加起来 5,400 人里只有 30 个崩溃用户,占 0.56%,比 4.2 版的 1.0% 还好。这个版本整体并不更差,是一个机型坏得很严重。该做的是针对这个机型热修或暂停放量,而不是把所有人回滚。只看汇总数字,就会做出错误的决定。

启动时间的读法一样:如果冷启动中位数从 1.8 秒变成 2.6 秒,慢了 44.4%,接下来要查是全面变慢,还是只在旧设备上。

每次发版前后要检查什么

时间检查项通过规则(示例)
发版前每次提交跑小测试和中测试发布分支全部通过
发版前赚钱路径的真机测试在覆盖约 80%–90% 用户的矩阵上通过
发版前最低支持设备上的启动和内存不超过你设定的预算
发版前统计事件带必填属性发出每个计划中的事件都带着必填字段到达
放量第 1–3 天按版本、按设备看无崩溃占比整体与旧版相差在约 0.5 个百分点内;没有单个机型明显更差
放量第 1–3 天新流程的自定义错误和漏斗步骤没有哪一步比上个版本下降
第 7 天留存和启动中位数,对比上个版本没有无法解释的下降
随时某个机型或系统版本明显差于其他对该切片暂停放量,再修复

通过规则里的 0.5 个百分点只是起步用的经验值,要按你自己的历史调整,不是标准。重要的是规则在发版之前就写好了。

选用和使用移动测试工具的常见误区

  • 把一长串工具当成覆盖计划。 覆盖看的是回答了几个问题,而不是用了几个产品。确认四个问题每个都有人负责。
  • 看崩溃数量而不是崩溃率。 旧版本崩溃总是更多,因为它的用户更多。
  • 跨设备取平均。 算例里 2.0% 的汇总掩盖了一个 15.0% 的机型。一定要按设备和系统切开看。
  • 只在最新手机上测。 实验室里有快手机,你的用户不都有。
  • 跳过统计事件校验。 新页面不发事件,漏斗就会看起来像流失。先验证事件,再怪用户。
  • 指望统计代替测试。 统计告诉你用户碰到之后出了问题,测试是在他们碰到之前拦住。

在 TapCub 里怎么做发版后那一半

TapCub 不是自动化测试工具:它不跑测试脚本、不租设备、不分析代码性能。它负责第四个问题和第三个问题的一部分,也就是真实用户拿到版本之后。上面 4.3 放量的例子,在控制台里这样走:

  1. 发版前先规划事件。 在 全端分析 › 数据管理 › 埋点方案 里列出新流程应该发送的事件,写明必填属性和状态。测试包跑起来后,打开实时验证(近 24 小时),看每个事件有没有到达、必填属性是否完整。
  2. 放量第 1 天看版本表。 应用统计 › 用户分析 › 版本分布 列出每个版本的活跃用户占比、崩溃数和首次出现日期。某个版本第一天出现时,TapCub 还会在趋势图上加一条发版标注,之后的变化能和它对上。
  3. 读无崩溃占比。 应用统计 › 质量与归因 › 稳定性 显示无崩溃占比(1 − 崩溃用户数 ÷ 活跃用户数)、ANR、界面卡死、启动次数,以及冷启动、热启动和内存的中位数。用页头筛选缩小到 4.3,再和 4.2 对比。
  4. 按设备切。 应用统计 › 质量与归因 › 设备 按机型、系统版本等拆开用户,按活跃用户排序。和稳定性页的筛选配合,找出崩溃的那个机型。出现哪些设备字段取决于各 SDK 采集了什么。
  5. 按组处理错误。 错误组可以标成活跃、已解决或已忽略。应用以自定义错误上报的业务错误单独一个页签计数,不影响无崩溃占比。

TapCub 不会替你暂停放量,也不会修复问题,它只告诉你在哪里、发生在谁身上。要和应用商店的发布控制和你自己的流水线配合使用。更多应用指标见 移动应用 KPI;版本和发布跟踪见 应用版本管理 和 提升应用性能;想了解对线上站点做实验室式探测是什么样,见 合成监控。

FAQ

什么是移动测试工具?

它们是在发版前后检查移动应用的软件。实际上分四类:功能测试框架、兼容性实验室和模拟器、性能分析器和基准测试,以及针对崩溃、版本和事件的真实用户统计。每类回答不同的问题,所以很少有一个产品能覆盖四类。

我应该先用哪些移动测试工具?

先给核心逻辑写小型自动化测试,每条赚钱路径配一个真机测试,再接上能按版本和设备筛选的崩溃上报。这样覆盖了最痛的两个问题:我们有没有改坏什么,以及某次发版有没有对真实用户改坏。随着应用和用户增长,再加设备实验室和性能基准测试。

应该在多少台设备上测?

足够覆盖你实际用户的大部分。上面的样本里,6 个机型覆盖 81%,8 个覆盖 90%。把你自己的机型按活跃用户排序,在再加设备收益很小的地方停下,然后补上支持的最老系统,以及有崩溃记录的机型。

无崩溃率多少算好?

没有统一的数字。Google Play 会标记用户感知崩溃率整体超过每日用户 1.09%、或单个机型超过 8% 的应用,但各工具的定义不同。把每个版本和上一个版本比,并留意是否有单个机型明显差于其他。

还需要手工测试吗?

需要,用于新功能、可用性和奇怪的输入。Android 的指南说手工测试难以扩展、容易漏掉回归,所以重复的事要自动化。让人做探索和判断,再用真实用户数据确认实验室里通过的,在现场也能用。

资料来源

归档:数据分析

这篇文章对你有帮助吗?

我们会根据反馈修改和补充这篇内容。

许安

客户体验顾问

关注在线客服、访客沟通与自助服务,分享常见问题的处理思路和可复用流程,让每一次沟通更清晰有效。

在 TapCub 里看发版后的那一半

按版本看无崩溃占比、设备分布和发版标注。TapCub 不运行测试脚本,它显示真实用户碰到了什么。

看清数据,找到增长。

每一次点击,都有数据依据。装好一行代码,1 分钟看到第一批数据。

无需信用卡 · 统计与客服都有免费版 · 统计无 Cookie