美团到店平台技术部/质量工程部与复旦大学周扬帆教授团队开展了科研合作，基于业务实际场景，自主研发了多模态 UI 交互意图识别模型以及配套的 UI 交互框架。
本文从大前端质量保障领域的痛点出发，介绍了 UI 交互意图识别的方法设计与实现。基于 UI 交互意图编写的测试用例在实际业务中展现出了可以跨端、跨 App 的泛化能力，希望可以为从事相关工作的同学带来一些启发或帮助。
Update
这个工作主要是更小成本的模拟人类的认知，具体到实际落地的 demo，可以利用这个能力实现类似业务逻辑自动化 case 跨 APP、跨端、跨技术栈执行与检查。
下面是同一个 case 在不同 APP 上跑的效果，没有经过任何特定的适配
下单第一个商品的自动化 Case
美团：
https://v.qq.com/x/page/s35254rl6mf.html
高德：
https://v.qq.com/x/page/p3525xnc9a3.html
飞猪：
https://v.qq.com/x/page/b3525olpbzb.html
下单最便宜的商品的自动化 Case
美团：
https://v.qq.com/x/page/w35258tqmvo.html
高德：
https://v.qq.com/x/page/f3525jsa0se.html
飞猪：
https://v.qq.com/x/page/c3525s0xjf6.html
这么做的好处，同样的业务不同的技术栈（andorid、ios、rn、小程序、web）、不同的 APP 同样逻辑的 case，一个 case 都能跑和检查，像传统自动化一样为每个页面都维护一个单独的 case。
第二，不是使用线性规则（如 xpath、selector 等）选点，页面发生了一定程度额变化（如布局、样式等），不用手动修复，模型能力能自动泛化这些变更。