背景
领导希望通过 ai 做一个生成 UI 自动化的工具,可以在开发提测后能后直接生成 UI 用例并运行后整合测试报告出来
已实现的逻辑
目前通过 cursor+midscene 有实现解析需求文档,然后生成 UI 自动化用例去运行收集报告,做的是一个 skill 工具
遇到的问题
因为是 skill 工具依赖 cursor 的代码分析能力,加上要配置 midscene 的 apikey 和大模型解析的 apik,还要配置飞书的 mcp 等,使用的人比较少
我打算做成平台,但是平台的话做了几天发现 llm 解析代码的能力跟 cursor 差别好大,失败率很高,大家有什么好的办法吗?
目前实现的方法是根据用户输入的需求文档 + 测试地址这一页的前端代码交给大模型去分析需求 + 扫描前端语义 + 转换为 midscene 格式的 yml 用例,测试数据是通过表单的形式,大概这个样子
求助的方向
1.在生成 UI 自动化的这个方向怎么让大模型能够更好的解析代码,达到 cursor 的标准就可以,cursor 目前生成 + 成功运行率在 80% 左右
2.这个工具核心目的是在提测后能够通过 ui 快速发现一些问题,并且可以快速录入 UI 自动化用例到平台,那么是否有更好的方法
3.大家在这个方向有什么新的思路吗