自动化工具 吐槽一下最近一些号称自然语言进行自动化测试的框架
如题所述，最近站内看到挺多号称自然语言进行自动化测试的框架。乍一看卧槽挺酷眩啊！速度也挺快，再仔细一看槽点挺多
1.速度
所有 demo 都是 2 倍乃至 3 倍速播放，跑一步基本都要 10 秒往上了
2.底层
一看底层，哦，调用 GPT-4o(现在升级了，可以调国内其他模型)。
GPT-4o 本身收费没开源不说了，跑个测试还得挂梯子。然后所有处理都是丢给 GPT 呗。。
所以原理就是，比如我想在美团搜个外卖，那步骤就是
1.截个图
2.图传给 gpt，问他搜索框在什么位置，给我对应坐标
3.adb 拿坐标点击，然后输入外卖名称
这东西有什么难度吗？只要你提问的方式够好，限定词加的够多，它就能返回给你你想要的，无非是寻找最优提问方式罢了。这玩意我早就试过了，速度慢，要收费我就不提了。其次根本没法批量跑，模型是人家的，token 限制也是人家定的。你量一大，人家直接给你限制调用，直接抓瞎。
我认为真正要做到自然语言进行自动化测试，用离线开源模型或者自己训练一个，这是必须的。否则就是中看不中用的玩具一个
一开始汽车也没马车跑得快，但是后来呢。。。不要故步自封啊楼主，开眼看世界。
PS.拿这种破玩意忽悠小白割韭菜变现的我还是坚决抵制的
我去催饭
回复
你说的没错，但也不能套个壳就跑出来说自己实现了吧。。99% 依赖人家的，还得考虑人家给不给你用的问题。所以我也说了用开源离线模型，或者自己训练一个也行吧。但你这一套壳都算不上的东西就拿出来吹的天花乱坠也太跌份了。
只要你提问的方式够好，限定词加的够多，它就能返回给你你想要的
这个就很难解决；要做非常多的优化和改造，才能又快又便宜的实现。
AI agent 基本都长这样
恒温
回复
说到底在看别人脸色的情况下，别人模型的规则稍微一变，或者 token 长度限制了就跑不了了。俺们公司买了 gpt4o 做过实验，图像的转成 base64 后，token 长度直接指数级飙升，跑的数量稍微上来一点 API 直接强制停用，速度提不上去。而且基本没优化空间，议价权都在别人手里。私以为搞离线模型才是正道
这需要企业根据内部的 UI 进行微调模型的，目前面壁应该是能够做到的，但速度慢是没法解决的事情，毕竟要等待分析
这类东西我就不信有什么生产力可言，都是花瓶
一切有成熟生产价值的产品必然是闭源。
甚至你连专利都不会找到，对外宣传也全都是假的。
开源么，框架么，必然是有些问题的。
一个 KPI 导向，或者吹牛导向的东西，不这样才会更加奇怪。
年底了要汇报了，我警告你不要搞事啊
大厂人太多，大扩张时期，招了那么多测试开发进去，不弄点东西出来搞 KPI，怎么做汇报啊。
