背景

App 测试、H5、以及小程序测试，现在大部分程序都是千人前面，导致元素动态的变化，写出来的测试脚本不稳定。我想这也是为什么 WebUI 自动化难于落地，也是大家经常谈到的问题。

最近在做「XX 调研」项目，大部分是前端工作，用 playwright 来做了主流程的自动化回归测试，偶尔一些小的变化，功能优化等，不影响主流程元素定位，自动化用起来也非常的顺畅。

愿与事违，经常在调研题型里面，会有改动，导致元素定位不准确。自动化脚本自然就运行失败，维护起来成本颇高。

没有一个相对简单，一劳永逸的方法。

思考

自己想有没有办法用机器学习来完成，这个工作喃？

大致思路是：用 OCR 等算法，定位元素的位置、是什么组件、文字等，目前就三个属性，其他的属性目前还没有用到。

比如一个「单选题」按钮，输出的信息：(300，200)， button， "单选题"。

上面这样包含了：坐标、属性、文字。

• 坐标 : 用于自动化脚本执行，点击坐标位置；
• 属性：属性有对应一些方法，比如 radio，可以 selected、unelected 等；
• 文字：用于对用户写的用例，进行分析，这里考虑用 NLP 来实现，转化为自动化的用例；

人工用例-> NLP分析后的用例-> OCR定位-> 执行-> 报告

OCR 这一步相对比较简单，市面上之前也看到过类似的方法，可以实现。
难的是人工用例要求很高，因为每个人写用例思路，措辞都可能不一样，怎么实现从人工用例-> 自动化用例。

对于这个大家有没有什么建议或者意见哇？欢迎留言交流。谢谢