跨境应用与场景

设备覆盖率怎么算?

说明移动软件自动化验收中设备覆盖率的分母、分子、加权算法和统计边界,并用示例演示如何建立设备清单、处理未执行项及区分覆盖率与通过率。

移动软件自动化验收的设备覆盖率,通常按“已完成自动化验收的目标设备配置数 ÷ 纳入验收的目标设备配置总数 × 100%”计算。关键是先说清楚“一个设备配置”指什么:只算机型,还是把操作系统版本、屏幕规格等也纳入。口径不同,结果不能直接比较。

先确定分母:哪些配置属于验收范围

统计前应从产品支持范围和用户实际使用情况中列出目标配置,并固定统计周期。分母不是市场上所有手机,而是本轮计划验收、且确实需要支持的配置。比如团队选定 iPhone 13、Samsung Galaxy A54 和 Xiaomi Redmi Note 12,并为每款指定一个受测系统版本,那么可按三个配置计数;若同一机型的两个系统版本都要分别验收,分母则按六个配置计算。

屏幕尺寸、厂商系统定制、处理器或权限行为是否单独计数,要看它们是否会影响验收结论。不要一会儿按机型计数、一会儿按机型与系统组合计数。将设备清单、系统版本、纳入理由和变更日期记录下来,设备覆盖率才有可复核的分母。

基础算法与加权算法

按配置等权计算

设纳入范围有 10 个设备配置,其中 8 个已完成规定的自动化验收,设备覆盖率就是 8 ÷ 10 × 100% = 80%。这里的“已完成”应按团队预先定义的验收条件判断,例如指定用例均执行完毕,结果与日志已留存;仅仅把测试任务排进队列,不算完成。

按使用占比加权

不同设备配置的重要程度可能不同,可将权重依据明确的产品数据或业务优先级确定。公式为:各配置权重之和(仅计入已完成配置)÷ 全部目标配置权重之和 × 100%。例如三组配置权重分别为 50%、30%、20%,前两组完成、第三组未完成,则加权覆盖率为 80%。权重应注明来源和更新时间;没有可靠依据时,等权计算更透明。

实际统计时按这几步操作

  1. 冻结范围:列出机型与系统版本组合,并标记纳入、排除及原因。
  2. 定义完成:写明要跑哪些自动化用例、允许怎样处理失败,以及什么证据算完成。
  3. 汇总状态:为每个配置记录未开始、执行中、已完成或阻塞;阻塞和执行中均不计入已完成数。
  4. 计算并注明口径:分别给出配置总数、完成数、公式和统计日期;采用权重时同时展示权重依据。
  5. 检查分母变化:新增支持设备时更新目标清单,并说明覆盖率变化是测试推进所致,还是范围扩大所致。

别把设备覆盖率当成通过率

覆盖率回答“多少目标设备配置完成了验收”,通过率回答“已执行的测试中有多少通过”。例如 10 个配置中 8 个完成验收,设备覆盖率为 80%;若这 8 个配置合计执行 100 个用例,其中 92 个通过,用例通过率为 92%。两项指标不能互相替代。还可记录失败率、阻塞原因和核心流程覆盖情况,避免一个覆盖数字掩盖关键问题。

因此,移动软件自动化验收的设备覆盖率应与设备清单、完成标准和统计周期一起报告。若报告只写“覆盖率 80%”,读者无法判断分母是机型、系统组合还是其他配置;补齐口径后,这个数字才适合用于比较版本进度和安排后续测试。

常见问题

测试失败的设备算已覆盖吗?

如果该配置已按规定完成测试且结果、日志齐全,可计入“已完成验收”,但失败仍须单独记录。若团队把覆盖定义为通过,则必须明确标注,不能与完成率混用。

一台实体机跑多个系统版本,算几台?

按统计口径计算。若验收对象是机型与系统版本的组合,就按不同组合分别计数;设备实体数量可以另列。

没有用户设备占比数据,能做加权吗?

可以使用已批准的业务优先级作为权重并注明依据;若权重只是主观估计,建议同时报告等权覆盖率,避免加权结果造成误解。