自动化工具 自动化测试管理平台一般支持集成到 CI/CD 流水线的功能么?

sq876 · 2019年12月23日 · 最后由 dive 回复于 2020年01月09日 · 2985 次阅读

之前基本上单位都没有这种带有 ui 界面的自动化测试管理平台,都是测试人员手写自动化测试代码,也比较容易集成到 ci/cd 流水线,现在看到特别多开源项目,实话说挺解决问题的,适合团队里面有些不太会写代码的同事。
但是有一个问题,就是这种自动化测试管理平台在测试过程当中属于哪一个环节,什么时间去跑?而且我发现这种平台通常现在都还不是特别通用,没有办法支持所有协议,并且 缺少数据库校验,大多是只支持 http 协议和返回值的校验,对于处理复杂测试场景测试力度不够,那么使用层面是在什么时候?
总结下来就是几个问题:
1.自动化测试管理平台在测试的哪个时间节点去使用?以前 CI/CD pipeline 会自动触发部署后回归测试,这种平台和 CI/CD 还能扯上点关系么?
2.一个集成所有协议的管理平台可以完全代替手写行动化测试代码吗?如果不能,那怎么跟自动化测试代码结合起来使用?

共收到 8 条回复 时间 点赞

1、你的平台开放一个接口,CI/CD pipeline 触发这个接口,然后按照你编写的逻辑平台去进行回归测试

完全替代手写,应该还不行的吧
自动化代码你写好了,一般可以用接口或者 webhook 去触发一下.然后跑起来

dive 回复

我试用了一下 httprunnermanager,感觉 http 协议的接口测试基本上用它做全流程集成测试也没问题,但是有一个问题是用这种可视化平台创建的测试用例都只能用来回归,手写的有个好处,稍微改一改就能用来造数据😂
不知道 到底什么情况下还需要手写自动化测试代码,感觉上开发这么样的一个平台基本上就可以满足需求了

回答一下第一个问题:

  • XX 测试平台只是管理测试资产的,可以看做一个资源池,平台本身也应该具备自由组合 case、scenario 的能力,测试可以在任何需要的时候去跑一下(比如冒烟),同时,选取、组织测试用例、场景的 API 也要暴露出去;
  • CI/CD 就是名符其实的生产流水线,它在测试环节需要自动化的资源的时候可以使用到这些测试的资产就好了,就像生产汽车的流水线,需要用到刹车片的时候能够取得到、取的对,就行了;
  • 至于 CI/CD 如何使用自动化测试 case、scenario,使用哪些更合理,这个可以交给测试管理平台做(通过 API),也可以交由一个第三方的类如精准测试平台的角色来执行——比如怎么通过变更集或者涉及的需求的业务模型来选取、组织测试。

总之,可以各部分各司其职,互不依赖的独立工作,也可以全部协同,不用纠结测试平台是否一定要和 CI/CD 强相关。当然你可能看到了一些只能帮助基础薄弱的同事管理自动化测试用例的平台,没有提供与 CI/CD 集成的能力,你可以自己二次开发解决。

sq876 回复

。。。。自动化测试就是拿来回归的啊,难道你新功能一出,你马上就能写完自动化脚本么。
一般造数据可以用 jmeter 之类的呀。而且 httprunner 是可以用于造数据的,你做并发就可以了

dive 回复

怎么并发,求指教,好象没看到文档里有写

sq876 回复

https://cn.httprunner.org/run-tests/load-test/
你可以看下这个性能测试的部分,并发可以理解为做性能测试,

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册