刚看到,加了
短期内暂无开源计划,可以参考下论文复现
这部分正在开发,主要是针对 app 构建知识地图或者图谱
未来工业化用例生成 + 机器校验 + 人工辅助这套流程,整个 UI 测试的麻烦程度能减少比较多
多次执行的准确率可以参考实验结果https://github.com/bz-lab/AUITestAgent/blob/main/interaction_zh.md https://github.com/bz-lab/AUITestAgent/blob/main/evaluation_results/evaluation_zh.md 整体来看还是比较稳定的
UI 的不合理状态可以进行一定程度的检查,但是当前的检查能力没有对这种通识性布局问题进行特化,总体准确率不会特别高,在实际使用的过程中会加入针对各种类型异常的专项检测
这个对于基座的要求不是特别高,国内的几个 MLLM 效果都不错,每一步操作大概耗时十几秒到 20 多秒吧
可以的,整体是从多模态来对页面进行的认知,包括文字、图片、页面结构等,不单纯依赖文字
正常 ,这方面研究挺火的,大家都在弄
https://github.com/bz-lab/AUITestAgent/blob/main/verification.md
这个是驱动 + 校验的 case 例子集合
暂时还没,不过关键的流程和原理已经在论文里写明了,可以参考复现,整体不复杂