我说下我们公司的现状:
每次开发提交新版本,然后自动化脚本跑一遍,并分析错误,全员抄送自动化测试报告,也能发现一些 bug,但是比较少,感觉价值没充分体现。
不知道大家所在的自动化测试价值是如何体现的?
发现不了的 bug 也都是后端的么?
你这边说到 “自动化团队的价值”,其实也就是测试的价值
测试的价值可以体现在四个方面:
题目里说的情况,“发现 bug”,只是测试价值的其中一个方面,毕竟随着测试的进行、产品质量的提升,发现的 bug 越来越少其实是合理的
所以从这个角度来看,自动化测试的价值并不是只有发现 bug,如果自动化测试没有发现 bug,说明系统的表现和行为都是符合预期的(自动化脚本没有问题的情况下),这可以为系统增强信心。同时,通过使用自动化来替代手动测试,为持续测试提供了可能性,可以更频繁地触发测试,比如在每日部署和版本部署之后进行,可以比手动更快地发现可能引入的新 bug(或者更快地保证被测功能没有受影响),并且这个信息也可以提供给更多的人(主楼里提到的 “全员抄送”),让其他利益相关方都知道自动化测试的结果,也有助于提高团队的质量意识,这些其实都体现了自动化测试的价值。
你说能发现一些 bug 但是比较少;所以是不是存在其他发现不了的 bug?然后这些自动化测试发现不了的 bug 是属于前端问题还是后端问题?
自动化测试主要是回归测试,所以没发现的 bug 主要分为 3 类
1:新业务的 bug,也就是没被自动化覆盖的业务的 bug, 这个不属于自动化测试的锅
2: 用例不全 ,目前自动化测试主要是对测试用例的脚本翻译成自动化,所以这个是测试用例设计者的锅
3:脚本对用例覆盖不全,导致漏测,这实实在在是自动化测试的锅
了解;当然,确实如果辛辛苦苦写了很多自动化脚本,结果新版本一上通过率极高,但是还是有很多 bug 没能发现,这确实会” 对人生产生怀疑 “;其实不能说自动化测试发现的 bug 少,它的价值就不高。因为随着迭代的进程,bug 必然会越来越少。新业务的 bug 没有被自动化测试体现出来,说明开发新业务的时候对原有系统的破坏性(改造)小,这也是好事。(不过我的项目组就没有这个烦恼,开发经常改着改着就破坏原业务了 )至于如何进一步提升所谓的价值,我确实没有相关经验。期待你的后续分享吧
自动化在我理解中,主要是不是用来发现 BUG。
那用来干嘛?有以下几点:
首先,需要团队正确认识自动化团队的价值,包括自动化团队本身。
我刚接手测试团队的时候,情况跟你描述的一模一样,前面大佬们把理论讲的很多了,用来跟其他角色辩论够用了,我说一下改进的方向:
毕竟我也是经过了这样的日子:辛辛苦苦跟大家解释自动化不是为了发现 BUG 而是为了回归测试防止引入,不是为了节省人力而是为了提升质量,到了年底又问我你们今年节省了多少人力投入。
想确认下,楼主是在独立的自动化团队(专门写自动化脚本),还是在业务团队兼顾写自动化脚本?
如果是后者,价值体现应该比较容易,节省自己的工作量就是价值了。
如果是前者,光靠自动化体现价值比较难。还是要基于自动化扩展下更多的事情。单纯自动化价值实在有限。