研发效能 大模型时代下的测试畅想

Ikaros灬 · 2023年11月08日 · 最后由 magicyang 回复于 2023年11月10日 · 5319 次阅读

最近问界这个车不是比较火嘛,周末的时候去体验了一下,给我印象很深的是这个车的车机
当时销售跟我说的是,这个车机界面上,所有你能看到的功能,都可以通过语音控制
举个例子:比如有个菜单,你可以说打开 xx 菜单,页面下滑,点击 XX,关掉 XX,把 xx 调整到 90%
这个操作给我了一点测试技术上的启发

假如,有一个大模型,可以做到能识别页面中的按钮,同样能识别我描述的操作并调用对应函数
比如封装好了,下滑,点击,输入等通用函数
那么我以后测试,是不是可以只专注于用例设计就可以了呢,设计出来的用例交给大模型去执行?
比如,用例步骤是:
1、打开 XXX 页面
2、点击 XXX 菜单
3、点击 XXX 按钮,A 框输入 xxxxx,B 框输入 xxxxx,C 框选择 xxxx
4、点击提交
5、查看 xxx 列表,第一条信息 A 内容 xxxxx,B 内容 xxxxx,C 内容 xxxxx
完全就交给大模型去执行

什么时候能整个这样的东西出来呢?

共收到 20 条回复 时间 点赞

重点是结果的判断,现在很多测试平台都支持自动化用例的自动生成,在这个基础上再拓展下,能否通过训练来打造出一个拥有 测试场景判断、用例设计和执行、断言判断、自动化转换等思想的 AI,只要求达到普遍测试场景的能力即可,这就可以让大部分的测试退休了

自信一点是全部

沫沫sir 回复

全部 短暂来看是不可能的事,除非真进化到了红皇后的程度

我了解到目前一些基于 chatgpt 的应用,就是摸索出一套指令,然后封装指令给大模型,大模型给出执行动作,然后应用根据动作执行,吐出结果。

以后测试负责给大模型背锅就可以了,其他全交给 AI

自动化用例的生成,指的是文本用例直接转换成自动化用例么?我上面提到的指的是使用大模型将手工文本用例直接转换成自动化用例

Ouroboros 回复

大佬了解大模型测试的情况吗,可以开篇普及下
gpt 了下直接

今天服务挂了,现在应该好了

Ouroboros 回复

这个可以😂

这个就考验 pass@key 了。

JoyMao 回复

是吗?我当时换了个问题就是 ok 的,再问下这个问题就又 429 了

10楼 已删除

昨晚又出故障了,最近 openAI 升级后各种故障:

。。。我是菜鸡一枚,昨天应该是 GPT-4 Turbo 更新后不稳定挂了,切换到 3.5 能回答

看了外网别人用 GPT-4 Turbo 做的视频,感觉 AI 进化速度比想象中的快,画个图就能做出网站,写段话生成动画,识别游戏体育视频,生成解说语音,太强大了。。。。。

不过要取代测试提供产品信心的作用,估计还要一段时间等大家认知改变。

就像华为智能座舱一样,看到无数人的视频后,才会对智能驾驶有信任感~

测试要被淘汰了

模型驱动测试。 大模型生成业务模型。

应该有一篇,大模型时代下,软件测试工程师如何发展的文章。

大模型测试有落地应用案例吗,目前看的文章一般都是探讨和相关工具平台推广

恒温 回复

等大佬出哦~

JoyMao 回复

主要是被 DDOS

在不确定的环境下,去给别人判断确定性。
这事听起来就很扯淡。
因为能用!=没错。

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册