测试管理 测试数据结果展示平台

木月 · 2021年05月10日 · 最后由 cloudwind 回复于 2021年05月26日 · 6992 次阅读

🔔 写在前面的话

入行 10 年,从最开始的功能小白,到现在不高不低,感觉走了很多路,又感觉原地踏步了很多路,之前还会写一些回忆记录,年纪大了,成家立业,有妻有儿后,就懒散了很多,这里介绍一些现在自己的果实,希望可以留下一些东西

🔔 要说些什么

从业十年,陆续接触学习了很多的测试框架:
Android,诸如 Uiautomator 1.0 , Robotium, Appium, Uiautomator 2.0 ,
iOS。诸如 Macaca、Appium, Xctest,
Web,主要是 Selenium,
接口的话,像 Jmeter,Python Requests

多数框架都是有自己的结果展示方式或一些开源的小工具,但从本身需求来讲,希望可以将测试结果数据保存下来,或者同通知结合起来,方便回溯审核。
而这里介绍的就是这个,自己做一套可以收集所有平台测试结果的展示平台。

🔔 页面展示

Android/iOS/Web 端结果展示

Server 端结果展示

Android/iOS 结果列表展示

Server 结果列表展示

CI 控制列表展示

统计分析页面展示

用例管理/CI 触发页面

因为项目正式使用,目前还未做角色权限控制,所以就先不对个人展示 Web 地址了。

🔔 如何做

逻辑很简单,展示平台,提供数据上报接口,定义好数据格式,后续主要是考虑如何展示就可以了。

具体测试脚本,自己解析出测试结果数据,然后组成满足需求的数据,上报到平台。主要做三件事情:
1、写测试用例
2、收集测试结果
3、上报测试结果(涉及到截图的上传截图)
4、周知人员(目前我们是和企业微信打通,将测试结果地址直接发送到微信,方便人员及时收到失败的结果)

具体如何收集测试结果,目前都是抓取脚本执行过程中,输出的关键信息,当然这些是在测试脚本中会做一下处理。

🔔 后续的集成

一是扩大面,目前做好了前端/接口的性能测试结果数据保存,因为现在还没有将性能测试脚本集成进来,没有测试数据,暂时没有展示。
二是做一些像数据准备类的工作,方便和 Charles 结合做一些 Mock,当然这些可能比 Lyrebird 差一些,所以具体怎么做还在考虑,也可能放弃。

🔔 最后

写的比较匆匆,很多东西会遗漏,加上最近所在公司查 git,基本把所有库都删了,所以暂时没有可以让大家可以看的代码,后续再提供吧

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 11 条回复 时间 点赞

比较关注,各个平台的测试结果数据那么多,楼主是怎么沟通确定具体需要展示什么数据,用什么形式展示的?

可以分享下这块不?

陈恒捷 回复

没太明白你的意思。
尝试理解下,是意思每个平台可能对于结果的展示维度和样式不一样吗?
首先,结果展示都是和各个平台测试沟通的(这里其实都是我自己,不存在沟通障碍),需要展示什么数据,都会要求上报上来,目前我做的是,前端自动化展示页面基本一致,所以共用一套页面来展示,接口单独一套页面,如果说,哪天 iOS 需要个性化展示一些东西,可能就会单独写一套页面出来给 iOS 用。
基本上来说,这个后台趋向于网站开发,展示什么,什么方式展示,产品方是测试人员罢了

收藏了
遇到问题也请教下楼主

木月 回复

我指的不是技术层面怎么采集数据,而是业务层面怎么样的数据才能起到比较有效的度量效果。

这块一般需要和 leader 或者需要用到这些数据的各个业务团队的同学沟通吧?

陈恒捷 回复

啊,你这个问题回归需求了,其实不是难点,明确好就行了,找个有经验的测试人员/管理,应该都知道自己想要什么

木月 回复

我经历过的情况是,有时候 leader 其实没太认真想过这个问题,基本都是实际在项目中用了,才知道自己想要什么,然后再调整具体展示的指标数据。

所以一开始一般都是给统计起来最简单的数据(用例总数、总通过率什么的),后面再根据需求增加统计指标。

陈恒捷 回复

有时候是这样的,但这问题不大,因为什么呢,因为数据源只要比较充分的话,后续只是使用的问题,例如哈,一个自动化用例,需要明确什么:
用例名称 - 内部标示,方面快速查找代码
描述 - 这个用例干什么的
结果 - 成功或失败
原因 - 失败/成功日志
执行载体型号 - 是 iOS/Android 什么设备
模块 - 属于那个测试模块
截图/录屏 - 直观检查错误具体原因
失败原因分类 - 提前整理好可能的失败原因(这个也可以放到平台展示页面去灵活修改)
执行时间长度 - 用例消费时间
执行触发时间 - 什么时候执行的,方便回溯时间段内服务器是否正常
有了这些,基本上后期能整理出来任何想要的数据,对吧。
不可能说,后期老大突然说,我想要一个和用例本身八竿子打不着的东西,就算要,你想加也不一定加的了不是

赞,这个想法跟我一致。

木月 回复

不可能说,后期老大突然说,我想要一个和用例本身八竿子打不着的东西

这个有可能哦!不管需求多奇葩,都是会甚至经常发生的。

木月 #10 · 2021年05月12日 Author
Thirty-Thirty 回复

那只能哈哈了

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册