AI+APP UI 自动化

基建

1. codex pro
2. 前端代码
3. 基础知识库 + 前端关键动作流程知识库
4. 造数 mcp（其他可调用的造数脚本也一样）
5. APP 自动化测试框架（本文使用传统 POM 框架 + 业务分层设计，定位识别主要依靠本地 ocr+airtest 图形识别）

AI skills 构建思路

1. 根据知识库 + 代码库，去识别前端关键页面的关键元素。
2. OCR+ 图片定位验证，框架优先使用 ocr 进行识别，其次使用图片定位验证。（验证流程文案类型识别存在，可交互元素使用点击页面变化为依据）
3. 批次深度探索每批 3-5 个关键元素，避免一次探索太多，幻觉频发。
4. 稳定性流程验证，当单元素验证稳定后，引入测试用例或者在知识库构建时就添加，“密码登录”，“下单流程” 等最小可执行场景。让 AI 进行初步封装，同时让你的代码仓库初步形成规范和结构。（有历史代码直接就能参考，无历史代码你就先构建你的代码规范和约定，使得 AI 的生成在你的规则范围内）
5. 动态更新知识库，当知识库给到的信息不充分时，让 AI 优先去代码仓库获取流程，并补充到知识库。

异常处理

1. 点击后弹窗破坏页面，根据你的业务需要在 skills 内添加异常处理流程。一般就是退出 app 或者尝试使用 back
2. 流程验证，一开始 AI 有点蠢会一直从头开始走流程。非常耗时，但是跑久了之后他也会知道用步骤的模式进行优化，所以不如直接告知他 “流程中断后，根据当前节点完成后续流程，再组合全流程进行完整验证”
3. 超时主动寻求人工判断，例如一个流程 1 分钟都无法进行完善，大概率是你提供的知识库或者异常解决方案不完善。这个时候 AI 会进入探索模式。可以让 AI 中断，主动寻求人类的帮助。如果你不加着一条，让 AI 探索后一定要汇总遇到的问题如何解决的，你自己评估解决方案，再优化到 skills 内。

总结

1. 这个方案是目前常用的一套思路，就是用 AI+ 框架，或者官方 mcp 服务构建自动化流程，因为你写的代码本身就是知识库，test case 越丰富后续再进行场景构建就越简单。
2. 过程中会遇到很多问题，一定让 AI 跑完后把出现的问题，耗时长的模块做汇总反馈。

成果

跑了 8 小时，大概各个页面一共巴拉了 200 个主要元素，并验证了简单的流程验证。完全流程验证通过的 60%，另外 40% 都是因为前置原因导致验证失败。这里主要是造数 mcp 的使用，业务流程的知识库未补充，导致 AI 有点不知道在什么时候使用造数给对应的页面附加当前测试账号的测试数据，但问题应该不大。
在 AI 时代来临之前，大家对于 UI 自动化的维护和消耗已经有定论了。那目前就是把以前那套维护方便的设计模式告诉 AI，把 80% 的定位时间交给 AI 去消化。UI 自动化的时间就能大幅缩短了。