AI测试 请问不懂机器学习的测试开发如何将 AI 应用到测试领域中呢

水山 · 2022年01月13日 · 最后由 阿根 回复于 2023年06月20日 · 6250 次阅读

如题,我目前没有那么多精力和时间去研究机器学习的算法原理和实现,只想将机器学习相关成品作为一个黑盒子拿来使用,请问应该怎么做呢?

这样子说可能会显得我心浮气躁,眼高手低。其实不是的,我从 B 站一些 AI 应用看到了在测试领域的价值,比如 B 站那个原神自动钓鱼,FPSAI 外挂,自动玩王者荣耀等。我真的认为应用到测试领域肯定是有价值的。

我的职位是游戏测试开发工程师,我正在谋划做一个东西来获取数据。一个安卓后台程序,能够在测试同学进行操作的时候进行截图上传到服务器,这些包含了用户行为 (点击坐标) 和图像的数据,我真的想知道如何应用成熟的 AI 产品来挖掘更多的价值。

共收到 12 条回复 时间 点赞

AI 产品还没成熟到你想干啥他就按你想的给你实现吧。。。自己动手,丰衣足食

这个跟测试的时候直接开录屏有什么不一样么

你说的这些,本身就是价值。有一部分也有开源自己的模型出来给大家用的吧。

但现阶段 AI 各个模型还是针对性非常强的,建议可以了解下现在 AI 的一些主流算法和应用领域。对于成熟领域(如车牌号识别、OCR 识别、音转文这类)确实不少成熟的基于 AI 实现的方案可用,甚至也有抽离成了简单的 API 便于集成到任意应用中。但对于新领域(比如楼主提到的在游戏测试领域的引用)并没有这样的直接可用的方案,还处于探索阶段。

不过之前 MTSC 大会游戏专场,网易有分享过一个基于 AI 做得自动按指引做任务的实践,楼主可以看看历年游戏专场的议题了解一下。

Ouroboros 回复

看来只能这样了。

锅锅的锅 回复

录屏是一个视频吧,虽然可以按帧拆成图片,但是就不知道测试同学在每张图片的点击位置了,当然了这只是我的设想,不一定对。

陈恒捷 回复

好的,看来我的想法还是太不成熟了,我去看看你提到的议题。感谢回复。

好好研究下飞桨。

陈子昂 回复

好的

想法上是可以通过特征匹配 +appium 左右游戏自动测试的
但是游戏的滑杆移动和图片匹配不准,是个难题,其实挺好奇云测是怎么搞的,可以人家不给开源

可以看看腾讯 TuringLab 出的一本书 AI 自动化测试,相信能很好的回答你的问题

图像识别可以应用到测试中
移动端自动化测试的时候,可能会有莫名其妙的广告弹窗,可能会有其他问题引发的 toast 弹窗,如何能自动识别这些弹窗,并做出对应的处理,这里可以用到图像识别,先找一部分的弹框图片来进行机器学习,并在工作中不断积累这种弹框图片,持续学习,然后积累到一定量了,就可以识别出来了,工作原理类似于汽车无人驾驶,可以识别各种状态的下行人和车辆还有障碍物,检测红绿灯的状态等并做出对应的反应

啥时候光录个屏就能实现 UI 自动化就安逸了

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册