AI测试 大家所在公司在测试领域都有哪些 AI 方面的实践?有哪些已经产生了不错的效果?对于 AI 提效/带来新的保障手段信心如何?

Mr.CHEN · 2024年10月17日 · 最后由 小黑子-祖国人 回复于 2024年10月18日 · 1648 次阅读

先抛砖引玉下,我们团队今年在 AI 方面主要的实践方向、挑战和基本成果如下:
1.功能用例生成
方案:基于产品需求和 prompt 生成功能用例(相关功能已集成到用例管理平台)
困难:
1).需求本身的质量(一句话需求、碎片化需求)
2).PRD 文档形式各异(原型图中标注、简单的截图标注等,需要 QA 人为转换为文本才能生成用例)
效果:
1).相对通用的需求(业务领域相关性弱),用例生成质量尚可
2).整体收益看鉴于需求本身的质量、即便提供了业务知识库的情况,效率和效果也谈不上有提升

2.接口自动化用例生成
方案:基于接口文档 + 接口框架知识库 +prompt 示例
效果:
1)接口文档规范性足够好的话,仿写的效果还是可以的
2)整体收益看,在有大量接口需要生成用例模版的背景下,效率上还是有所提升的
困难:
1.生成的用例数据部分仍需要手工替换(对于业务数据的依赖,这点 AI 似乎无能为力)

3.代码扫描
方案:针对历史线上问题,梳理出研发易犯错的代码问题,形成检查规则(同时会搭配开源扫描工具使用),集成到流水线结合代码 DIFF 和大模型对代码进行 check
效果:
1).成本低,收益还是可以的(目前主要应用在 C++ 项目上)
困难:
1).增量代码往往缺少上下文,会导致出现漏检的情况
2).生成的报告每次需要人工 check 排除干扰

4.测试报告生成
方案:
1).重点让 AI 基于 BUG 数据进行数据分析,给出风险提示和分析结果
效果:
1).由于给 AI 提供的信息有限,生成的结论比较泛,仍需要加入人为的分析结论

5.其它还有 AI 需求分析、需求评审、数据库表设计评审等

共收到 9 条回复 时间 点赞

给 lz 总结下,没啥效果。。。练技术了。

最好的效果就是用好 CHATGPT,节约 50% 的研发成本。
举个例子,我这周搜怎么设置 ARM CPU 的亲和性,结果给我出了 3 个方案,而我就知道一个。。。

然后,AI 但凡好用的场景、方向,早就卷到天上去了。。。骗别人可以,骗自己还是算了。。。

根据我听完李宏毅《生成式 AI 導論》的课程,我感觉想把现在的生成式 AI 用在测试提效上的人,本质上就是不了解什么是生成式 AI

用不了多久就落灰了,不过折腾了总比不折腾强。

效果就是年底绩效可能会好点

1、安全审核
2、AIGC 评测
3、需求风险评估
4、case 生成
5、智能自动化(客户端、API)
6、智能单测

我是这么理解,分析一件事情 AI 可不可以做,先分析这个事情由哪些组成的吧,打个不恰当的比方,比如买股票,你可以分析走势、资金出入等相关公开的信息,这些都是有机会拿到的数据,把这些数据根据一定的格式丢给特定培训的大模型,做股票分析,甚至给出推荐哪支股票

给 lz 总结下,没啥效果。。。也没练技术。

sir 回复

AI 做不到这个,生成式 AI 就像摇骰子一样,去生成下一个字。准确度根据大模型的参数量,精确度只能通过训练资料的质量 + 大量的人为纠正 + 大量的人为评价答案 去优化。所以在股票领域,根本就不可能通过大模型去分析,因为股票是没规律的,特别是 A 股

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册