测试覆盖率 求一份 UI 自动化数据调研?

zailushang · November 05, 2019 · Last by zailushang replied at November 08, 2019 · 2052 hits

随着推动的UI自动化测试的逐步落地,想找同行多请教和沟通,所以今天做一个关于UI自动化相关指标的小调研,烦请大家多多帮忙。
调研标题:UI自动化指标调研
小小的要求:以成功加入日常生产、并稳定运行 的UI自动化为准
调研内容格式:
0、UI自动化框架
1、公司或产品名
2、UI自动化的用例覆盖率
3、UI自动化用例数
4、最近一个月的平均稳定性
5、目标稳定性

简单的事情,真正做好不容易,希望大家多多支持
邀请 @Lihuazhang @ycwdaaaa @simple @codeskyblue @williamfzc-github @diao2007 @026

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 40 条回复 时间 点赞

我先来。
0、UI自动化框架:Airtest/Poco
1、产品名:海外cleanmaster
2、UI自动化的用例覆盖率:82%
3、UI自动化用例数:232
4、最近一个月的平均稳定性:83%
5、目标稳定性:95%

zailushang 回复

海外CM是什么? CM是什么缩写

1、产品名:移动广告SDK
2、UI自动化的用例覆盖率:通过UI触发各种广告打点,占用例不足10%
3、UI自动化用例数:96条(触发广告打点的case,目前还在加)
4、最近一个月的平均稳定性:100%,运行时长1.5h
5、目标稳定性:不稳定的不是case,是逻辑变更导致的case重写

zailushang 回复

232条好多啊,你们用例的颗粒度?执行一遍的时间呢?

026 回复

目前执行一遍Full Test,一台手机3小时左右,后期会同时2~3台手机运行,时间会少很多。
我们做了用例分层,进行了一定程度的细分,232条用例其实还好,第四范式飞哥他们上千条用例了。

目前发现基于Airtest的用例执行效率上有一定的不足,这块后期会更新。

simple 回复

谢谢俊哥支持

因为保密性,具体产品可能不便透露哈

1、产品名:**
2、UI自动化的用例覆盖率:一方面是UI本身的校验,另一方面是利用UI驱动去触达一些场景
3、UI自动化用例数:很大部分是动态生成的,动态生成的这一部分相对稳定一些(可能因为逻辑简单),静态的不够稳定
4、最近一个月的平均稳定性:因为太多了,且散落在不同层级,并不好给一个数值。不过主要失败的原因更多是在设备问题与环境问题上,例如断连、走到异常场景等等。用例本身失败大多因为业务逻辑变更。
5、目标稳定性:近期还在尽量增加容错以避免环境相关的影响

williamfzc 回复

多谢支持,我们下一步计划在效率上和环境稳定性上推动

建议楼主建一个UI自动化的讨论群,
目前UI自动化确实不是很普遍落地,针对困境大家多讨论讨论

秦岭 回复

这东西讨论不出来,真的是咬牙实践出来的

1、产品名:XXXERP
2、UI自动化的用例覆盖率:42% ,主流程场景+部分核心功能回归
3、UI自动化用例数:273
4、最近一个月的平均稳定性:91%,环境问题较多+业务变动
5、目标稳定性:业务变动及时更新case,环境问题,加强重试及解耦

json_代 回复

多谢支持,方便说一下用的UI自动化框架吗?

13Floor has been deleted

0、UI自动化框架:Airtest/Poco
1、产品名:手游
2、UI自动化的用例覆盖率:这个很难出来精准数值,大概覆盖了80%左右的功能,每个功能深度大概60-70%左右,还在持续堆case
3、UI自动化用例数:1000+ (case最小颗粒度/互相独立,一般四台机器一起跑,耗时50min上下出报告)
4、最近一个月的平均稳定性:一般在95%以上(有定制失败重跑 稳定性能到98%上下)PS:这里的稳定性是指版本需求变动或版本BUG外的case未通过数/总case数。
5、目标稳定性:感觉保持现状就不错

最近正在用自己造的轮子,写用例,写的慢,总共5条,一天基本两条,但写完就可以不管了,依赖少,跑起来基本100%,除非ui有异常

小怪兽 回复

这么多用例,维护有什么好办法吗

cmlanche 回复

PO模式分层管理, case都在业务层

小怪兽 回复

游戏的case,我门公司到是没你那边多。游戏的话,还是蛮猛的。

小怪兽 回复

方便留个公司名字吗?你们1000多用例,95%的稳定性,很厉害

陈子昂 回复

是,游戏能写1000多条,稳定性95%以上,还是比较猛的

没有想象的那么高

json_代 回复

方便留个公司名吗?你们做的很厉害

Author only
小怪兽 回复

谢谢支持

Author only

现在的ui自动化好像并没有哪个公司的覆盖率很高,UI还是处于发展和探索阶段

陈子昂 回复

谢谢大猫哥支持

Author only

0、UI自动化框架:Cypress
1、产品名:web + H5 应用
2、UI自动化的用例覆盖率:70%
3、UI自动化用例数:84
4、最近一个月的平均稳定性:85%
5、目标稳定性:95%

谢谢大家的支持

最近也加了不少测开群,但是呢要么是卖课的很烦,要么积极性不高,提出问题又没人讨论,太安静了。大佬,能不能建个群专门用来讨论测试开技术

0、UI自动化框架:Airtest
1、产品名:web +小程序(电商零售)
2、UI自动化的用例覆盖率:核心模块差不多80%
3、UI自动化用例数:580+(web+小程序串联case流程比较长,四台机器单台在3个小时以上)
4、最近一个月的平均稳定性:营销交易模块流程长的在80%左右(流程长用例执行时长,外部因素失败多一些,单条失败会重跑),商品、会员这些基本100%
5、目标稳定性:95%

null 回复

我觉得没什么好讨论的,大部分技术问题是可以通过搜索解决的,还是要多逼迫自己通过搜索解决问题。

有很多搜索解决不了的,我直接改了源代码

小怪兽 回复

膜拜大佬,希望可以做次手游自动化分享呀~

大佬们用例case怎么划分的

明显Airtest占比颇高啊

lonye 回复

你小程序启动有快捷方式吗? 还是先启动微信,再搜索小程序名称,然后打开

1、产品名:xx大数据检索(bs)(pytest/selenium)
2、UI自动化的用例覆盖率:其实就是很简单的搜索遍历,确定搜索结果是否正确
3、UI自动化用例数:2w
4、最近一个月的平均稳定性:有些模块稳定,有些不稳定,视开发情况而定,75%-90%之间吧,现在还没有稳定的基线数据,导致一些内容查询结果为空,是主要用例失败的点。
5、目标稳定性:95%稳定吧,后期可能考虑到对验证方法要升级,感觉路漫漫,哎。

zailushang · #41 · November 08, 2019 作者
Author only
需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up