AI测试 组内的工作：基于多模态进行 UI 意图识别，目前已经在 ESEC/FSE 2023 发表 paper，大家有兴趣可以一起讨论下
美团到店平台技术部/质量工程部与复旦大学周扬帆教授团队开展了科研合作，基于业务实际场景，自主研发了多模态 UI 交互意图识别模型以及配套的 UI 交互框架。
本文从大前端质量保障领域的痛点出发，介绍了 UI 交互意图识别的方法设计与实现。基于 UI 交互意图编写的测试用例在实际业务中展现出了可以跨端、跨 App 的泛化能力，希望可以为从事相关工作的同学带来一些启发或帮助。
Update
这个工作主要是更小成本的模拟人类的认知，具体到实际落地的 demo，可以利用这个能力实现类似业务逻辑自动化 case 跨 APP、跨端、跨技术栈执行与检查。
下面是同一个 case 在不同 APP 上跑的效果，没有经过任何特定的适配
下单第一个商品的自动化 Case
美团：
https://v.qq.com/x/page/s35254rl6mf.html
高德：
https://v.qq.com/x/page/p3525xnc9a3.html
飞猪：
https://v.qq.com/x/page/b3525olpbzb.html
下单最便宜的商品的自动化 Case
美团：
https://v.qq.com/x/page/w35258tqmvo.html
高德：
https://v.qq.com/x/page/f3525jsa0se.html
飞猪：
https://v.qq.com/x/page/c3525s0xjf6.html
这么做的好处，同样的业务不同的技术栈（andorid、ios、rn、小程序、web）、不同的 APP 同样逻辑的 case，一个 case 都能跑和检查，像传统自动化一样为每个页面都维护一个单独的 case。
第二，不是使用线性规则（如 xpath、selector 等）选点，页面发生了一定程度额变化（如布局、样式等），不用手动修复，模型能力能自动泛化这些变更。
早几年和朋友讨论过这种类似的问题，当时没有想到可行的方案，现在能看到一篇能实际落地的方案，厉害
昨天也刷到这篇文章，还没来得及看，楼主看过的话可以总结一下
对普通人来说，没啥意义。
普通人最多只能成为数据得提供者，整个解决方案得关键环节都是极少数人才能参与的。
AI 越智能，拿着高工资得普通开发死的越快。
碰 AI 得要么去做工程定制化需求，要么至少的是个博士。
看完感觉，用 ai 进行自动化测试，指日可待了，发展速度应该超乎想象。
实际作用太小，简单逻辑在测试过程中，手动就可以顺带测试，并且结果识别无法完全替代人，用 ai 给人工做二次确认？监督测试的测试结果。
厉害确实
通篇读下来，感觉到很厉害，但是也觉得有点赛博 UI 自动化的既视感。形象点比喻的话就是类似看了何同学团队关灯的那期视频一样，一个舵机 +ZigBee 能完成的事 或者更简单有现成的蓝牙开关，硬是搞了抛球机 + 扫地机器人 + 各种传感器 去物理关一个开关的事。。。
测试新人
回复
其实能够实际应用的点还挺多的，只要是需要在程序中模拟人类进行识别认知的部分都可以尝试使用类似的能力，例如页面画像，录制回放、智能化测试机器人等等