我是让 AI 写回归测试用的的自动化用例代码,以及用例执行失败后的分析。本质上也是让 AI 写代码,一边写一遍人工修正,减少人工写自动化代码的时间,效果很不错。至于新需求直接让 AI 测,只能说见仁见智吧,也不是不行,只是我尝试过的方案都不符合预期。
好方法。之前也想让 AI 去分析开发代码,但一直有两个难点:1. token 消耗大,开发用 AI 写的代码量有些爆炸,扫描的成本比较高 2. 产品需求也是用 AI 写的,需求设计质量堪忧,很多需求细节完善都是在测试过程中测试提出的。
测试开发和业务测试看法可能不同,我是业务测试,比较关注 AI 能否真的验证业务规则,而不是用例通过率 100%。自从开发开始大规模用 AI 写代码,大多数 Bug 都是业务层面的问题,代码之类的问题其实已经很少了。
AI 生成测试用例,我目前就在用,只能说可以用,但达不到高标准,还是需要人工来修正很多;至于直接让 AI 执行功能测试,那纯纯构思,漏测率很高;AI 做白盒的代码检查和单测倒是挺不错的。
很真实了
第一个是生成用例质量的问题:1. 使用更好的大模型 + 不断完善自己的生成 SKILL。2. 输入的需求文档和开发文档也要求更严格一些,最好也能提供给模型历史文档、Bug 和用例。3. 目前大模型还做不到 100% 无需人工修正
第二个本质还是用例质量,如果生成的 UI 测试用例的四大要素比较完善且准确,我想也很难有不能实现自动化的情况,剩下无非是技术实现的问题。我见到的无法执行的用例,大多都是 “一句话用例”,不能自动化也正常。
正在做同样的尝试,只是我是先将需求生成测试用例,再从测试用例生成 UI 自动化代码。
一句话提示词只能用来自己玩,如果想提高准确度,需要一个详尽的测试用例生成 SKILL
后端仓库生成测试用例,有些类似于后端代码的单元测试吧,验证的是代码逻辑。我其实更想根据产品需求设计来生成测试用例
好的,我去试试,谢谢