灌水 目前 AI 真的没有办法帮助测试提效吗?

zzz · 2025年02月06日 · 最后由 IAmTester 回复于 2025年02月26日 · 12078 次阅读

如题,想来想去都不知道哪些地方能真正使用上 AI。AI 生成的用例太过于简单没法使用,所谓的 AI+UI 自动化感觉也只是一个噱头,实际并没有起到很好的作用

共收到 28 条回复 时间 点赞

对于测试结果而言,投入 AI 的钱真不如拿去用于多投入点人力,人力多了测试质量自然就高。
对工作效率方面,AI 就相当于一个很好的效能工具,能帮助测试开拓思路和减少学习时间

AI 能给日常工作提效,但是展示在 PPT 中的提效会很虚。

根据业务场景来啊,比如风控的字段测试,产品定义字段逻辑,研发开发成 groovy 脚本,我把这俩喂给 AI 检查逻辑是否正确,再生成造数 sql 和 python 测试脚本,不就节省一大半测试时间

IAmTester 回复

你咋知道,哈哈哈

我个人一点愚见,AI 的诞生绝不是为了提效,如果 AI 仅仅是为了提效,那你太小看它了,AI 的价值是对于低端劳动力的全方位降维打击,是取代,是进化

最近试了下 cursor,可以直接给 django 后台项目,生成完整的 python+pytest+request 的接口自动化用例(根据项目代码自动理解有哪些接口 + 生成对应的自动化用例 + 错误码及关键字段的断言)。这堆代码人肉写,至少 1 人天,用 AI 几分钟左右就可以生成出来,提效挺明显的。

现在 cursor、trae 等深度结合 AI 的 IDE,已经可以做到用自然语言从零生成完整项目,且可以正常跑起来,还可以通过自然语言提需求,AI 直接根据需求改代码,给我震撼还挺大的。

目前的大语言模型还是主打一个缩小从自然语言=>计算机语言模型的 Gap 上,提效提的是你建模的时间成本。关键问题是建好的模型是否真的可执行和错误 Free,这不单单取决于大模型本身的能力,也取决于你给的 prompt 的能力。此外,目前大中型企业的内部知识还没有对接到 “通用” 语言模型的训练结果中,大模型的泛化能力最终不一定直接生成符合内部知识和需求的生产力,这种 Gap 是通用人工智能所无法解决的,你的去训练它,让他具备你的领域知识。所以总结一下,你如何使用大语言模型决定了生产力提升的高度。

豆包、deepseek 等大模型,我们都直接把研发 Merge Request 中的代码发给它们,甚至不用多少上下文代码,它就能理解代码的含义,评估质量风险(兼容、安全)。很强大的,就当 AI 是个技术专家的角色去问就行

陈恒捷 回复

完整尝试了 cursor 和 Trae,生成项目后优化以及 bug fix,其实还是需要中级工程师的水平,才能达到真正的提效。

陈恒捷 回复

怎么给它提示的?

在路上 回复

确实还是会有一些 bug,需要足够熟悉,给到真正有效的指引,才可以快速和有效解决。但相比自己从零撸代码,省了很多力了。

我用的是这个,在 cursor 里项目的根目录下执行,仅供参考:

请使用python pytest、request框架,生成根目录下django后端项目对应的接口自动化用例到 api-test 文件夹中。要求:

1、覆盖所有接口

2、断言覆盖接口返回码、关键返回字段值

3、使用 allure-report 生成测试报告

4、一个接口一个py文件,py文件中1个用例一个函数

5、合理使用setup和teardown减少代码重复

生成出来的内容大概如下:

当然缺点还是有,比如跑起来有些用例会报错,需要人肉看和修正,有些断言写得还是过于简单,需要人肉加。但从提效角度,省了很多手工活。

目前项目组用 AI 生成功能测试用例,接口自动化用例,渗透测试,提效还是有的吧

  • 对于从零开始的工作能提效不少,但是对于已经工程化的东西,比如现有的测试工程里新增一个 case、已有的平台项目里增加一个 feature,除非已有的项目信息都喂给它,而且做到绝对的 0 耦合,否则应该是没啥效果的,而且容易埋坑
  • 我更多的是用它替我完成我不喜欢、不擅长的细碎工作,比如:帮我用 python 和 opencv 实现一个模拟暗通道去雾的功能、帮我 python 和 opencv 实现一套图像清晰度评估的模型和代码……

总之,就是新知领域用 AI;熟练的套路里避免使用 AI,用现有的脚本、代码更实惠

槽神 回复

公司大搞 ai 代码生成率,自动化测试代码也有要求,只能硬着头皮用吧

各位大佬 不懂代码的小白 学的懂 AI 大模型吗

同感,现在的 AI 感觉更像一个便捷的搜索工具

sdsds 回复

生成的用例效果怎么样?能用吗?

对测试本质感觉没什么帮助,更多还是在工具层面提效

disciple 回复

赞同,目前主要拿来帮忙写写脚本:之前测过一个需求,核对开发从三方接口拉取的大量数据,直接让 ai 帮我写个数据比对的 python 脚本 调试一下就能用,已经是很大提效了, 让我自己撸代码调试处理字符兼容等等问题估计怎么也要几小时,但是 ai 就是分分钟的事情。感觉 AI 对于轻微懂点代码的测试确实很大帮助,能完成很多以前可能需要测开帮忙处理的诉求。但是对于业务测试本身的话比较鸡肋,能起到帮助的前提是你喂给它足够全面完整的项目资料和测试体系的资料,现阶段还是很难做到的。

deepseek 让全国各行业工作者都颅内高潮,但是离真正落地结合现有业务达到智能化还有很长的路要走

作用有一丢丢但不大,公司 aicr 上线快一年了吧,后端拆分应用多的情况下,上下文缺失导致的误报特别多,发现的也大部分是语言语法方面的小问题,然而安全生产复盘的时候 p5+ 事故 99% 都是业务问题

sdsds 回复

大佬,请问具体是怎么使用 AI 生成用例的呢?

IAmTester 回复

虽然确实是,但是从另一方面说,AI 对研发的提效还是比较大的,那在项目排期时候,测试自然容易被相关方挑战

shinyHero 回复

接入 AI 肯定是好事,像研发使用 cursor 这种有目的性的绝对是好事,但是我公司测试的领导和大多数测试的领导一样,基本是无脑无目的的接入 AI,甚至是无资源无支持,就口嗨,就为了写汇报,深恶痛绝

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册