自动化工具 吐槽一下最近一些号称自然语言进行自动化测试的框架

hank.huang · 2024年10月28日 · 最后由 40岁的测试小学生 回复于 2024年11月01日 · 7456 次阅读

如题所述,最近站内看到挺多号称自然语言进行自动化测试的框架。乍一看卧槽挺酷眩啊!速度也挺快,再仔细一看槽点挺多
1.速度
所有 demo 都是 2 倍乃至 3 倍速播放,跑一步基本都要 10 秒往上了
2.底层
一看底层,哦,调用 GPT-4o(现在升级了,可以调国内其他模型)。
GPT-4o 本身收费没开源不说了,跑个测试还得挂梯子。然后所有处理都是丢给 GPT 呗。。
所以原理就是,比如我想在美团搜个外卖,那步骤就是
1.截个图
2.图传给 gpt,问他搜索框在什么位置,给我对应坐标
3.adb 拿坐标点击,然后输入外卖名称

这东西有什么难度吗?只要你提问的方式够好,限定词加的够多,它就能返回给你你想要的,无非是寻找最优提问方式罢了。这玩意我早就试过了,速度慢,要收费我就不提了。其次根本没法批量跑,模型是人家的,token 限制也是人家定的。你量一大,人家直接给你限制调用,直接抓瞎。

我认为真正要做到自然语言进行自动化测试,用离线开源模型或者自己训练一个,这是必须的。否则就是中看不中用的玩具一个

共收到 13 条回复 时间 点赞

一开始汽车也没马车跑得快,但是后来呢。。。不要故步自封啊楼主,开眼看世界。
PS.拿这种破玩意忽悠小白割韭菜变现的我还是坚决抵制的

我去催饭 回复

你说的没错,但也不能套个壳就跑出来说自己实现了吧。。99% 依赖人家的,还得考虑人家给不给你用的问题。所以我也说了用开源离线模型,或者自己训练一个也行吧。但你这一套壳都算不上的东西就拿出来吹的天花乱坠也太跌份了。

只要你提问的方式够好,限定词加的够多,它就能返回给你你想要的

这个就很难解决;要做非常多的优化和改造,才能又快又便宜的实现。

AI agent 基本都长这样

恒温 回复

😂 说到底在看别人脸色的情况下,别人模型的规则稍微一变,或者 token 长度限制了就跑不了了。俺们公司买了 gpt4o 做过实验,图像的转成 base64 后,token 长度直接指数级飙升,跑的数量稍微上来一点 API 直接强制停用,速度提不上去。而且基本没优化空间,议价权都在别人手里。私以为搞离线模型才是正道

这需要企业根据内部的 UI 进行微调模型的,目前面壁应该是能够做到的,但速度慢是没法解决的事情,毕竟要等待分析

hank.huang 回复

可以不用 gpt 啊,为啥一定要用 gpt

恒温 回复

用其他一样有 token 限制呀。。跑多了就给你禁用一段时间,除非是自己搭的离线模型

这类东西我就不信有什么生产力可言,都是花瓶

一切有成熟生产价值的产品必然是闭源。
甚至你连专利都不会找到,对外宣传也全都是假的。
开源么,框架么,必然是有些问题的。
一个 KPI 导向,或者吹牛导向的东西,不这样才会更加奇怪。

大厂人太多,大扩张时期,招了那么多测试开发进去,不弄点东西出来搞 KPI,怎么做汇报啊。

恒温 回复

GPT4 至少就比 gpt3.5 强很多,减少了幻觉

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册